hbase-auto balancer失效

櫰木1年前技术文章490


背景

集群中,发现hbase 的compaction 队列一直增长,出现hang住的情况,排查发现,一些表的region集中在某些机器上,分布不均匀。但是排查发现auto balancer是默认开启的。所以猜测balancer失效。

排查步骤

排查的第一步,拿到日志,查看是否有相关balancer的日志信息。但是没有什么明显的发现。所以开启balancer 的debug模式

登录cm页面——》选择hbase ,打开active master web页面——》log level

在get/set的第二行,写入org.apache.hadoop.hbase.master.balancer这个类,Level中写入TRACE然后点击Set Log Level

image.pngimage.png

日志开启完成

image.png

这个配置可以不用重启,就直接在master节点上看到trace的日志

image.png

解决方案

如上图,发现balancer是被跳过了。

Skipping load balancing because balanced cluster; total cost is 40.0, sum multiplier is 1102.0 min cost which need balance is 0.05

然后梳理了下hbase 的balancer机制,参考以下文档

https://developer.aliyun.com/article/752985

cm——》hbase——》配置——》搜索hbase-site.xml 的 Master 高级配置代码段(安全阀)

配置以下参数

name: hbase.master.balancer.stochastic.minCostNeedBalance

value: 0.01   #默认是0.05


相关文章

NetworkManager和常用工具和基本用法

NetworkManager和常用工具和基本用法

现代人的生活越来越依赖网络,对于一个操作系统来讲,网络功能的支持和管理就更为重要了,本节课我们一起来看一下在CentOS8中如何对网络进行管理NetworkManager和常用工具和基本用法Netwo...

REPMGR-PG高可用搭建(二)

REPMGR-PG高可用搭建(二)

REPMGR搭建步骤一、介绍repmgr是第二象限开源的一套流复制集群管理工具,用于管理PostgreSQL服务器群集中的复制和故障转移。 支持故障自动转移和手动切换;支持分布式管理集群节点,易扩展,...

ES运维(八)添加IK分词器

ES运维(八)添加IK分词器

一、概述ES自带standard analyzer、simple analyzer、whitespace analyzer、stop analyzer、language analyzer、patter...

查看 Redis 不过期 key

查看 Redis 不过期 key

一、使用 Rdbtools 工具包使用 Rdbtools 工具包通过分析备份 rdb 文件,可以查看期间大 key 情况及过期时间情况。输出 csv 文档列信息情况详见下方附件--安装 rdb 工具包...

MySQL运维实战之ProxySQL(9.9)proxysql自身高可用

MySQL运维实战之ProxySQL(9.9)proxysql自身高可用

proxysql作为一个程序,本身也可能出现故障。部署proxysql的服务器也肯能出现故障。高可用架构的一个基本原则是消除单点。可以在多个节点上部署proxysql,在proxysql之前再加一层负...

Kubernetes安全--基于sa和user的rbac认证机制

前言Kubernetes中的用户K8S中有两种用户(User)——服务账号(ServiceAccount)和普通意义上的用户(User)ServiceAccount是由K8S管理的,而User通常是在...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。