hbase-auto balancer失效
背景
集群中,发现hbase 的compaction 队列一直增长,出现hang住的情况,排查发现,一些表的region集中在某些机器上,分布不均匀。但是排查发现auto balancer是默认开启的。所以猜测balancer失效。
排查步骤
排查的第一步,拿到日志,查看是否有相关balancer的日志信息。但是没有什么明显的发现。所以开启balancer 的debug模式
登录cm页面——》选择hbase ,打开active master web页面——》log level
在get/set的第二行,写入org.apache.hadoop.hbase.master.balancer这个类,Level中写入TRACE然后点击Set Log Level
日志开启完成
这个配置可以不用重启,就直接在master节点上看到trace的日志
解决方案
如上图,发现balancer是被跳过了。
Skipping load balancing because balanced cluster; total cost is 40.0, sum multiplier is 1102.0 min cost which need balance is 0.05
然后梳理了下hbase 的balancer机制,参考以下文档
https://developer.aliyun.com/article/752985
cm——》hbase——》配置——》搜索hbase-site.xml 的 Master 高级配置代码段(安全阀)
配置以下参数
name: hbase.master.balancer.stochastic.minCostNeedBalance
value: 0.01 #默认是0.05