opentsdb 服务在负载下挂起

2024-5-30 • tag-icon

我正在尝试使用 openTSDB 提供的 RESTful api 将数据放入 openTSDB。但是 opentsdb 进程总是在几分钟后挂起。它可以成功放入一些数据，然后变得越来越慢。最后它会在日志中抛出一些异常。

请检查以下日志：

2015-08-31 21:56:48,360 INFO  [New I/O worker #48] HttpQuery: [id: 0x38971101, /10.75.44.33:34549 :> /10.75.44.33:4242] HTTP /api/put?details done in 388999ms

2015-08-31 21:56:48,360 INFO [新的 I/O 服务器 boss #65] ConnectionManager：[id：0x835153bf，/10.75.44.33:34618 => /10.75.44.33:4242] OPEN 2015-08-31 21:56:48,361 INFO [新的 I/O 工作器 #40] ConnectionManager：[id：0x835153bf，/10.75.44.33:34618 => /10.75.44.33:4242] BOUND：/10.75.44.33:4242 2015-08-31 21:56:48,361 INFO [新的 I/O 服务器 boss #65] ConnectionManager：[id： 0xdf86eb92，/0：0：0：0：0：0：0：1：35607 => /0：0：0：0：0：0：0：1：4242] 打开 2015-08-31 21：56：48,361 INFO [新的 I/O 工作者 #40] 连接管理器：[id：0x835153bf，/10.75.44.33：34618 => /10.75.44.33：4242] 已连接：/10.75.44.33：34618 2015-08-31 21：56：48,361 INFO [新的 I/O 工作者 #41] 连接管理器：[id：0xdf86eb92，/0：0：0：0：0：0：0：1：35607 => /0:0:0:0:0:0:0:1:4242] BOUND：/0:0:0:0:0:0:0:1:4242 2015-08-31 21：56：48,361 INFO [新 I/O 工作者 #41] ConnectionManager：[id：0xdf86eb92，/0：0：0：0：0：0：0：1：35607 => /0：0：0：0：0：0：0：1：4242] CONNECTED：/0：0：0：0：0：0：0：1：35607 2015-08-31 21：56：48,361 INFO [新 I/O 工作者 #41] HttpQuery：[id：0xdf86eb92，/0：0：0：0：0：0：0：1：35607 => /0:0:0:0:0:0:0:1:4242] HTTP /api/version 在 0ms 内完成 2015-08-31 21:56:48,361 INFO [新 I/O 工作线程 #41] 连接管理器：[id：0xdf86eb92，/0:0:0:0:0:0:0:1:35607 :> /0:0:0:0:0:0:0:1:4242] 已断开连接 2015-08-31 21:56:48,361 INFO [新 I/O 工作线程 #41] 连接管理器：[id：0xdf86eb92，/0:0:0:0:0:0:0:1:35607 :> /0:0:0:0:0:0:0:1:4242] 未绑定 2015-08-31 21：56：48,362 信息 [新 I/O 工作线程 #41] 连接管理器：[id：0xdf86eb92，/0：0：0：0：0：0：0：1：35607：> /0：0：0：0：0：0：0：1：4242] 已关闭

2015-08-31 21:58:23,436 错误 [新 I/O 工作程序 #40] ConnectionManager：来自下游的意外异常 [id: 0x835153bf, /10.75.44.33:34618 => /10.75.44.33:4242] java.lang.OutOfMemoryError：Java 堆空间位于 java.nio.HeapCharBuffer。(HeapCharBuffer.java:57) ~[na:1.7.0_85] 位于 java.nio.CharBuffer.allocate(CharBuffer.java:331) ~[na:1.7.0_85] 位于 org.jboss.netty.buffer.ChannelBuffers.decodeString(ChannelBuffers.java:1193) ~[netty-3.9.4.Final.jar:na] 位于org.jboss.netty.buffer.AbstractChannelBuffer.toString(AbstractChannelBuffer.java:551) ~[netty-3.9.4.Final.jar:na] at org.jboss.netty.buffer.AbstractChannelBuffer.toString(AbstractChannelBuffer.java:543) ~[netty-3.9.4.Final.jar:na] at net.opentsdb.tsd.HttpQuery.getContent(HttpQuery.java:459) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.tsd.HttpJsonSerializer.parsePutV1(HttpJsonSerializer.java:133) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.tsd.PutDataPointRpc.execute(PutDataPointRpc.java:102) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.tsd.RpcHandler.handleHttpQuery(RpcHandler.java:273) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.tsd.RpcHandler.messageReceived(RpcHandler.java:180) ~[tsdb-2.1.0.jar:c775b5f] 在 org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.handler.timeout.IdleStateAwareChannelUpstreamHandler.handleUpstream(IdleStateAwareChannelUpstreamHandler.java:36) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeline.java:791) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.handler.timeout.IdleStateHandler.messageReceived(IdleStateHandler.java:294) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeline.java:791) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.handler.codec.http.HttpContentEncoder.messageReceived(HttpContentEncoder.java:82) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.SimpleChannelHandler.handleUpstream(SimpleChannelHandler.java:88) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeline.java:791) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.handler.codec.http.HttpContentDecoder.messageReceived(HttpContentDecoder.java:108) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeline.java:791) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.Channels.fireMessageReceived(Channels.java:296) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.handler.codec.http.HttpChunkAggregator.messageReceived(HttpChunkAggregator.java:194) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeline.java:791) ~[netty-3.9.4.Final.jar:na] at org.jboss.netty.channel.Channels.fireMessageReceived(Channels.java:296) ~[netty-3.9.4.Final.jar:na] 2015-08-31 21:58:57,956 INFO [新的 I/O 工作者 #40] ConnectionManager: [id: 0x835153bf，/10.75.44.33:34618 :> /10.75.44.33:4242] 断开连接 2015-08-31 21:58:57,956 INFO [新的 I/O 工作者 #40] ConnectionManager: [id: 0x835153bf，/10.75.44.33:34618 :> /10.75.44.33:4242] 未绑定 2015-08-31 21:58:57,956 INFO [新的 I/O 工作线程 #40] 连接管理器： [id：0x835153bf，/10.75.44.33:34618 :> /10.75.44.33:4242] 已关闭 2015-08-31 21:59:05,424 INFO [新的 I/O 服务器 boss #65] 连接管理器： [id：0x9a40399c，/10.75.44.33:34625 => /10.75.44.33:4242] 已打开 2015-08-31 21:59:05,424 INFO [新的 I/O 工作线程 #42] ConnectionManager：[id：0x9a40399c，/10.75.44.33：34625 => /10.75.44.33：4242] BOUND：/10.75.44.33：4242 2015-08-31 21：59：05,424 INFO [新I / O工作者＃42] ConnectionManager：[id：0x9a40399c，/10.75.44.33：34625 => /10.75.44.33：4242] CONNECTED：/10.75.44.33：34625 2015-08-31 22：02：21,615 ERROR [新I / O工作者＃31] ConnectionManager：来自下游的意外异常[id： 0xec533f17，/10.75.44.33:34599 => /10.75.44.33:4242] java.lang.OutOfMemoryError：在 com.google.protobuf.ZeroCopyLiteralByteString.wrap(ZeroCopyLiteralByteString.java:52) ~[asynchbase-1.6.0.jar:na] 在 org.hbase.async.Bytes.wrap(Bytes.java:287) ~[asynchbase-1.6.0.jar:na] 在 org.hbase.async.PutRequest.toMutationProto(PutRequest.java:529) ~[asynchbase-1.6.0.jar:na] 在 org.hbase.async.MultiAction.serialize(MultiAction.java:229) 处超出 GC 开销限制~[asynchbase-1.6.0.jar:na] 在 org.hbase.async.RegionClient.encode(RegionClient.java:1146) ~[asynchbase-1.6.0.jar:na] 在 org.hbase.async.RegionClient.sendRpc(RegionClient.java:894) ~[asynchbase-1.6.0.jar:na] 在 org.hbase.async.RegionClient.bufferEdit(RegionClient.java:757) ~[asynchbase-1.6.0.jar:na] 在 org.hbase.async.RegionClient.sendRpc(RegionClient.java:881) ~[asynchbase-1.6.0.jar:na] 在 org.hbase.async.HBaseClient.sendRpcToRegion(HBaseClient.java:1698) ~[asynchbase-1.6.0.jar:na] 在 org.hbase.async.HBaseClient.put(HBaseClient.java:1343) ~[asynchbase-1.6.0.jar:na] 在 net.opentsdb.core.TSDB.addPointInternal(TSDB.java:681) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.TSDB.addPoint(TSDB.java:573) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.tsd.PutDataPointRpc.execute(PutDataPointRpc.java:146) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.tsd.RpcHandler.handleHttpQuery(RpcHandler.java:273) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.tsd.RpcHandler.messageReceived(RpcHandler.java:180) ~[tsdb-2.1.0.jar:c775b5f] 在 org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) ~[netty-3.9.4.Final.jar:na] 在org.jboss.netty.handler.timeout.IdleStateAwareChannelUpstreamHandler.handleUpstream(IdleStateAwareChannelUpstreamHandler.java:36) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeline.java:791) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.handler.timeout.IdleStateHandler.messageReceived(IdleStateHandler.java:294) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeline.java:791) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.handler.codec.http.HttpContentEncoder.messageReceived(HttpContentEncoder.java:82) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.SimpleChannelHandler.handleUpstream(SimpleChannelHandler.java:88) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeline.java:791) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.handler.codec.http.HttpContentDecoder.messageReceived(HttpContentDecoder.java:108) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) ~[netty-3.9.4.Final.jar:na] 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeline.java:791) ~[netty-3.9.4.Final.jar:na] at org.jboss.netty.channel.Channels.fireMessageReceived(Channels.java:296) ~[netty-3.9.4.Final.jar:na] 2015-08-31 22:02:21,616 INFO [新的 I/O 工作者 #31] ConnectionManager: [id: 0xec533f17，/10.75.44.33:34599 :> /10.75.44.33:4242] 断开连接 2015-08-31 22:02:21,616 INFO [新的 I/O 工作者 #31] ConnectionManager: [id: 0xec533f17，/10.75.44.33:34599 :> /10.75.44.33:4242] UNBOUND 2015-08-31 22:02:21,616 INFO [新 I/O 工作线程 #31] ConnectionManager: [id: 0xec533f17，/10.75.44.33:34599 :> /10.75.44.33:4242] CLOSED 2015-08-31 22:02:21,616 ERROR [新 I/O 工作线程 #66] RegionClient: 来自下游的意外异常 [id: 0x49bdc01a，/10.75.44.33:40244 => /10.75.44.36:18020] java.lang.OutOfMemoryError: GC 开销限制超出com.google.protobuf.ZeroCopyLiteralByteString.wrap(ZeroCopyLiteralByteString.java:52) ~[asynchbase-1.6.0.jar:na] at org.hbase.async.Bytes.wrap(Bytes.java:287) ~[asynchbase-1.6.0.jar:na] at org.hbase.async.GetRequest.serialize(GetRequest.java:385) ~[asynchbase-1.6.0.jar:na] at org.hbase.async.RegionClient.encode(RegionClient.java:1146) ~[asynchbase-1.6.0.jar:na] at org.hbase.async.RegionClient.sendRpc(RegionClient.java:894) ~[asynchbase-1.6.0.jar:na] at org.hbase.async.HBaseClient.sendRpcToRegion(HBaseClient.java:1698) ~[asynchbase-1.6.0.jar:na] at org.hbase.async.HBaseClient.get(HBaseClient.java:995) ~[asynchbase-1.6.0.jar:na] at net.opentsdb.core.TSDB.get(TSDB.java:1090) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:185) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 在net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 2015-08-31 22:02:21,616 INFO [新 I/O 工作者 #66] HBaseClient：与 .META 失去连接。区域 2015-08-31 22：02：21,617 错误 [新 I/O 工作者 #67] RegionClient：来自下游的意外异常 [id：0x97cc2014，/10.75.44.33：44182 => /10.75.44.35：18020] java.lang.OutOfMemoryError：在 org.hbase.async.HBaseClient.createRegionSearchKey（HBaseClient.java:1954）~[asynchbase-1.6.0.jar：na] 处超过 GC 开销限制在 org.hbase.async.HBaseClient.getRegion（HBaseClient.java:1984）~[asynchbase-1.6.0.jar：na] 在 org.hbase.async.HBaseClient.sendRpcToRegion（HBaseClient.java:1659） ~[asynchbase-1.6.0.jar:na] 在 org.hbase.async.HBaseClient.get(HBaseClient.java:995) ~[asynchbase-1.6.0.jar:na] 在 net.opentsdb.core.TSDB.get(TSDB.java:1090) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:185) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] 在 net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 在net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:191) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.CompactionQueue.flush(CompactionQueue.java:116) ~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.TSDB.flush(TSDB.java:730) ~[tsdb-2.1.0.jar:c775b5f] 2015-08-31 22:03:09,322 INFO [新的 I/O 服务器 boss #65] ConnectionManager：[id：0x7c5ac3e7，/10.75.44.33:34633 => /10.75.44.33:4242] OPEN 2015-08-31 22:03:09,322 INFO [新的 I/O 工作者 #43] ConnectionManager：[id：0x7c5ac3e7，/10.75.44.33:34633 => /10.75.44.33:4242] BOUND：/10.75.44.33:4242 2015-08-31 22:03:09,322 INFO [新 I/O 工作线程 #43] ConnectionManager: [id: 0x7c5ac3e7，/10.75.44.33:34633 => /10.75.44.33:4242] CONNECTED: /10.75.44.33:34633 2015-08-31 22:03:09,322 ERROR [新 I/O 工作线程 #39] ConnectionManager: 来自下游的意外异常 [id: 0xe5cfc336，/10.75.44.33:34614 => /10.75.44.33:4242] java.lang.OutOfMemoryError: 超出 GC 开销限制 2015-08-31 22：03：09,322 INFO [新的 I/O 工作者 #39] 连接管理器：[id：0xe5cfc336，/10.75.44.33:34614 :> /10.75.44.33:4242] 已断开连接 2015-08-31 22：03：09,322 INFO [新的 I/O 工作者 #39] 连接管理器：[id：0xe5cfc336，/10.75.44.33:34614 :> /10.75.44.33:4242] 未绑定 2015-08-31 22：03：09,322 INFO [新的 I/O 工作者 #39] 连接管理器：[id：0xe5cfc336， /10.75.44.33:34614 :> /10.75.44.33:4242] 已关闭刷新（CompactionQueue.java:116）~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.TSDB.flush（TSDB.java:730）~[tsdb-2.1.0.jar:c775b5f] 2015-08-31 22:03:09,322 INFO [新 I/O 服务器 boss #65] ConnectionManager：[id：0x7c5ac3e7，/10.75.44.33:34633 => /10.75.44.33:4242] OPEN 2015-08-31 22:03:09,322 INFO [新 I/O 工作者 #43] ConnectionManager：[id：0x7c5ac3e7，/10.75.44.33:34633 => /10.75.44.33:4242] BOUND：/10.75.44.33:4242 2015-08-31 22：03：09,322 INFO [新 I/O 工作线程 #43] ConnectionManager：[id：0x7c5ac3e7，/10.75.44.33:34633 => /10.75.44.33:4242] CONNECTED：/10.75.44.33:34633 2015-08-31 22：03：09,322 错误 [新 I/O 工作线程 #39] ConnectionManager：来自下游的意外异常 [id：0xe5cfc336，/10.75.44.33:34614 => /10.75.44.33:4242] java.lang.OutOfMemoryError: 超出 GC 开销限制 2015-08-31 22:03:09,322 INFO [新的 I/O 工作线程 #39] ConnectionManager: [id: 0xe5cfc336，/10.75.44.33:34614 :> /10.75.44.33:4242] 已断开连接 2015-08-31 22:03:09,322 INFO [新的 I/O 工作线程 #39] ConnectionManager: [id: 0xe5cfc336，/10.75.44.33:34614 :> /10.75.44.33:4242] 未绑定 2015-08-31 22:03:09,322 INFO [新的 I/O 工作线程 #39] ConnectionManager: [id: 0xe5cfc336，/10.75.44.33:34614 :> /10.75.44.33:4242] 已关闭刷新（CompactionQueue.java:116）~[tsdb-2.1.0.jar:c775b5f] at net.opentsdb.core.TSDB.flush（TSDB.java:730）~[tsdb-2.1.0.jar:c775b5f] 2015-08-31 22:03:09,322 INFO [新 I/O 服务器 boss #65] ConnectionManager：[id：0x7c5ac3e7，/10.75.44.33:34633 => /10.75.44.33:4242] OPEN 2015-08-31 22:03:09,322 INFO [新 I/O 工作者 #43] ConnectionManager：[id：0x7c5ac3e7，/10.75.44.33:34633 => /10.75.44.33:4242] BOUND：/10.75.44.33:4242 2015-08-31 22：03：09,322 INFO [新 I/O 工作线程 #43] ConnectionManager：[id：0x7c5ac3e7，/10.75.44.33:34633 => /10.75.44.33:4242] CONNECTED：/10.75.44.33:34633 2015-08-31 22：03：09,322 错误 [新 I/O 工作线程 #39] ConnectionManager：来自下游的意外异常 [id：0xe5cfc336，/10.75.44.33:34614 => /10.75.44.33:4242] java.lang.OutOfMemoryError: 超出 GC 开销限制 2015-08-31 22:03:09,322 INFO [新的 I/O 工作线程 #39] ConnectionManager: [id: 0xe5cfc336，/10.75.44.33:34614 :> /10.75.44.33:4242] 已断开连接 2015-08-31 22:03:09,322 INFO [新的 I/O 工作线程 #39] ConnectionManager: [id: 0xe5cfc336，/10.75.44.33:34614 :> /10.75.44.33:4242] 未绑定 2015-08-31 22:03:09,322 INFO [新的 I/O 工作线程 #39] ConnectionManager: [id: 0xe5cfc336，/10.75.44.33:34614 :> /10.75.44.33:4242] 已关闭

我的问题如下

当我放入数据时，openTSDB 进程的内存使用量变得越来越大。这是正常的吗？因为我认为放入第一个文件和第二个文件的成本应该是相同的。如果文件大小相同。但似乎 opentsdb 的内存使用量一直在上升
日志显示错误来自下游。我的理解是它指的是 HBase。但我没有看到任何来自 HBase 的错误。为什么？下游是什么？

相关内容