hbase-auto balancer失效

櫰木4个月前技术文章111


背景

集群中,发现hbase 的compaction 队列一直增长,出现hang住的情况,排查发现,一些表的region集中在某些机器上,分布不均匀。但是排查发现auto balancer是默认开启的。所以猜测balancer失效。

排查步骤

排查的第一步,拿到日志,查看是否有相关balancer的日志信息。但是没有什么明显的发现。所以开启balancer 的debug模式

登录cm页面——》选择hbase ,打开active master web页面——》log level

在get/set的第二行,写入org.apache.hadoop.hbase.master.balancer这个类,Level中写入TRACE然后点击Set Log Level

image.pngimage.png

日志开启完成

image.png

这个配置可以不用重启,就直接在master节点上看到trace的日志

image.png

解决方案

如上图,发现balancer是被跳过了。

Skipping load balancing because balanced cluster; total cost is 40.0, sum multiplier is 1102.0 min cost which need balance is 0.05

然后梳理了下hbase 的balancer机制,参考以下文档

https://developer.aliyun.com/article/752985

cm——》hbase——》配置——》搜索hbase-site.xml 的 Master 高级配置代码段(安全阀)

配置以下参数

name: hbase.master.balancer.stochastic.minCostNeedBalance

value: 0.01   #默认是0.05


相关文章

RBAC

RBAC

API 对象在学习 RBAC 之前,我们还需要再去理解下 Kubernetes 集群中的对象,我们知道,在 Kubernetes 集群中,Kubernetes 对象是我们持久化的实体,就是最终存入 e...

查看 Redis 不过期 key

查看 Redis 不过期 key

一、使用 Rdbtools 工具包使用 Rdbtools 工具包通过分析备份 rdb 文件,可以查看期间大 key 情况及过期时间情况。输出 csv 文档列信息情况详见下方附件--安装 rdb 工具包...

Ldap部署

安装ldapyum -y install openldap compat-openldap openldap-clients openldap-servers openldap-servers-sql...

Fsimage 和 Edits 解析

Fsimage 和 Edits 解析

1、Fsimage和Edits概念 NameNode被格式化之后,将在所配置的存储目录中产生如下文件,fsimage和editslog文件存储在dfs.namenode.name.dir所设的路径下。...

Kubernetes源码解读(六)-- Informer源码分析

Kubernetes源码解读(六)-- Informer源码分析

Informer 这个词的出镜率很高,我们在很多文章里都可以看到 Informer 的身影,但是我们在源码里真的去找一个叫做 Informer 的对象,却又发现找不到一个单纯的 Informer,但是...

MySQL运维实战之ProxySQL(9.8)SQL镜像

使用proxysql的镜像(mirror)功能,可以将SQL发送到一个额外的后端实例执行。还可以将发送到镜像的SQL进行改写,以测试修改后的SQL是否能正常执行。通过mirror_flagOut字段,...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。