hbase-auto balancer失效

背景

集群中，发现hbase 的compaction 队列一直增长，出现hang住的情况，排查发现，一些表的region集中在某些机器上，分布不均匀。但是排查发现auto balancer是默认开启的。所以猜测balancer失效。

排查步骤

排查的第一步，拿到日志，查看是否有相关balancer的日志信息。但是没有什么明显的发现。所以开启balancer 的debug模式

登录cm页面——》选择hbase ,打开active master web页面——》log level

在get/set的第二行，写入org.apache.hadoop.hbase.master.balancer这个类，Level中写入TRACE然后点击Set Log Level

日志开启完成

这个配置可以不用重启，就直接在master节点上看到trace的日志

解决方案

如上图，发现balancer是被跳过了。

Skipping load balancing because balanced cluster; total cost is 40.0, sum multiplier is 1102.0 min cost which need balance is 0.05

然后梳理了下hbase 的balancer机制，参考以下文档

https://developer.aliyun.com/article/752985

cm——》hbase——》配置——》搜索hbase-site.xml 的 Master 高级配置代码段（安全阀）

配置以下参数

name: hbase.master.balancer.stochastic.minCostNeedBalance

value: 0.01   #默认是0.05