hbase
记录日志分析
我决定使用 scribe 记录我网站中的所有错误和请求详细信息以供分析。如何使用 scribe 日志数据来分析数据。是否有任何工具或 scribe 服务器程序可以做到这一点？我使用 PHP 作为脚本语言 ...
hbase
hbase
无法启动 Apache Kylin
早上好，我正在尝试在远程 Linux 服务器上安装 Kylin-3.1.1，我确保它满足所有软件要求，并且已经安装了以下程序：apache-hive-3.1.2-bin、kylin-3.1.1-bin-hadoop3、kafka_2.12-2.5.0、hadoop-3.3.0 和 hbase-2.3.4。但有些地方出了问题。我已经检查了环境，$KYLIN_HOME/bin/check-env.sh没有出现任何错误，检查成功完成。但每当我尝试通过$KYLIN_HOME/bin/kylin.sh start它启动 Kylin 时，都会出现以下错误： 2021-0...
hbase
Hbase集群中的备份与恢复策略
我刚刚开始使用 Hbase 集群。我有一个 Hbase 集群，其中有 2 个主节点和 4 个从节点。我有一个 Hbase 表，每天都会填充大量数据，因此磁盘很快就会填满。我想在这个表中实现备份和恢复策略。我想删除旧数据（以便释放磁盘），将它们存储在 S3 等存储中，然后在需要时恢复它们。 我有一个大型 mysql 表，其中数据存储在分区中（基于天）。我删除旧分区并将其备份到 Blob 存储中。我想在 Hbase 集群中实现类似的功能。 主要目的是释放磁盘中的旧数据，同时还能在需要时恢复它们。我做了一些研究，但找不到关于此的良好教程或文档。 ...
hbase
Hadoop 配置文件
我正在使用 Ubuntu 18.04、hadoop 3.1.3 和 hbase 2.2.1 在我看来，我的 Hadoop 和 HBase 似乎没有正确配置以进行交互。当我通过 HBase shell 尝试创建表时，它会产生以下错误 错误：KeeperErrorCode = /hbase/master 的 NoNode 当我尝试扫描表格时，出现以下错误 错误：没有可用的元 znode 联合计划 hadoop@jonas:~/HBase/bin$ jps 10107 Jps hadoop@jonas:~/HBase/bin$ 启...
hbase
hbase.regionserver.ipc.numActiveHandler指标有何意义？
ipc numActiveHandler 已记录这里作为： 积极处理请求的 RPC 处理程序的数量 我正在寻找有关该指标重要性的更详细解释。我正在尝试调试一个场景，其中 numActiveHandler 卡在 32。我认为 32 是预先配置的最大值。 在此期间，同一个区域服务器的 CPU 消耗率停留在 100%。对于该区域服务器中的某个区域，处理读取请求的速率似乎因某种压力（某处存在瓶颈）而降低。读取请求延迟也增加了约 5 倍。 什么可能导致此行为？我的直觉是，在这段时间内与该区域服务器的连接过多，瓶颈是在处理读取请求之前。有什么建议...
hbase
HBase 复制不起作用
我有两个HDFS集群，HBase其顶部有，cluster_1和cluster_2。 在cluster_1（所有节点）上我编辑了hbase-site.xml添加以下内容： <property> <name>hbase.replication</name> <value>true</value> </property> 然后我像这样cluster_1改变了表的foo列族：bar disable 'foo' alter 'foo', NAME => 'bar', REP...
hbase
CDH 社区版从 5.7 升级到 5.13，无需 Cloudera Express 或 Cloudera Enterprise
我有一个像下面这样的集群- 3 个 Hbase Master（1 个活动和 2 个备用） 4 个区域服务器 4 个数据节点 1 个主名称节点和 1 个辅助名称节点 3 日志节点 4 节点管理器 3 个资源管理器 (1 个活动 & 2 个备用) 查询 1 如果我通过上述“一键”包手动升级包，停止、升级和启动组件的顺序应该是什么这里是像下面这样吗:- 逐一停止、升级并启动所有数据节点。 逐个停止，升级和启动区域服务器 停止，升级和启动 逐个升级 HBase 备用节点 停止，升级和启动辅助名称节点 升级主名称节点 升级日志节点 升级 HBas...
hbase
HBase Kerberos SaslException：GSS 启动失败（机制级别：找不到任何 Kerberos tgt）
我正在尝试使用这个为 HBase 设置 Kerberos 身份验证http://hbase.apache.org/0.94/book/security.html文档，但迄今为止进展甚微。 来自 Apache 的 HBase 1.1.1，不受任何 Cloudera 的影响。主机在 Centos 6.5 下运行。 我已经按照说明设置了 Kerberos KDC 和客户端https://gist.github.com/ashrithr/4767927948eca70845db KDC 与我尝试保护的 HBase 位于同一台机器上。 总而言之，这是当前的...
hbase
opentsdb 服务在负载下挂起
我正在尝试使用 openTSDB 提供的 RESTful api 将数据放入 openTSDB。但是 opentsdb 进程总是在几分钟后挂起。它可以成功放入一些数据，然后变得越来越慢。最后它会在日志中抛出一些异常。 请检查以下日志： 2015-08-31 21:56:48,360 INFO [New I/O worker #48] HttpQuery: [id: 0x38971101, /10.75.44.33:34549 :> /10.75.44.33:4242] HTTP /api/put?details done in 388999ms ...
hbase
在 Cloudera HBase 集群中移动 SecondaryName 节点
我在与主名称节点相同的机器上部署了辅助名称节点： 这是错误的出于性能和耐用性原因（辅助名称节点不是热备用节点，但它确实有所需元数据的副本）。我发现关于如何移动名称节点的文档，但没有关于移动辅助名称节点的任何信息。 有经验的人知道如何安全地做到这一点吗？ ...
hbase
HBASE 空间使用量开始快速攀升
更新 4215： 查看空间使用情况后里面在 hdfs 中，我发现 .oldlogs 占用了大量空间： 1485820612766 /hbase/.oldlogs 新问题： 它是什么？ 我该如何清理它？ 我该如何防止它再次生长 是什么促使它开始生长？ 此外 .archive 也很大，那是什么，我的快照？ 另外，作为家庭作业，scollector 将不会监控各种 hdfs 目录的磁盘空间使用情况.... 另外，看起来以下错误在那个时候开始反复填充日志，不确定它们到底意味着什么： 2014-11-25 01:44:47,673 FATAL or...
hbase
Linux 网络调整如何防止 tcp rcvpruned 和 backlogdrop？
我的 HBase 集群中的数据节点不时触发一些 tcp rcvpruned 和 backlog 丢弃： 似乎至少有两个角度可以解决这个问题： 调整 HBase/HDFS 等...以便不会触发这些 调整 Linux 网络堆栈以便能够处理这些 我对进一步了解这两个指标以及对这两条路径的任何可行建议感兴趣。有人能就具体的下一步行动提出建议吗？ ...
hbase
如何知道哪个脚本或可执行文件与 Ganglia 中的指标相链接？
我刚刚开始探索 ganglia，我的问题是“如何知道哪个脚本或可执行文件与 ganglia 中的指标相关联？” 事实上，我对 ganglia 了解不多。我在 zabbix 方面经验丰富，我想在 zabbix 中链接一个已经在 ganglia 中运行的图表。 我在网上浏览了很多内容，但没有一个答案是相关的。 假设度量标准为： “hbase.RegionServerDynamicStatistics.tbl.SUBSCRIBER.cf.M_T_V” 在这下面，显示了两个图表：“hbase.RegionServerDynamicStatistics.tb...
hbase
在 Cloudera Manager 中禁用“复制块不足”警报
我有一个单服务器 HBase 集群，仅将其用作 HBase 复制的接收端。因此，我不想复制此集群中的任何块（因为源已复制块，所以我觉得不需要它）。 我想禁用此实例的“复制块不足”警报。我尝试了两种方法： 将此实例的复制因子设置为 1 将阈值设置为不可能的数量（即复制块下的 200%）。这确实会停止警报，但会将其替换为无效配置警报。 有人知道如何关闭集群的这个特定警报吗？ ...
hbase
HBase 与 *一些* 区域服务器连接存在问题
我有一个正在运行的 HBase 集群，我正在尝试向该集群添加一些新服务器，但是“SocketException：参数无效”和“FailedServerException：该服务器位于失败的服务器列表中”日志中不断产生错误。 2014-07-02 22:28:01,140 WARN org.apache.hadoop.hbase.regionserver.HRegionServer: Unable to connect to master. Retrying. Error was: java.net.SocketException: Invalid argu...