ranger对接hbase 处理class not found

九月1年前技术文章606

hbase 2.1版本在配置ranger插件,重启hbase时,hmaster无法正常启动,日志显示meta region is in state OPENING

1.jpg

此时查看regionserver 中日志报错:


解决方法:

因为regionserver中缺少包,所以master在启动的时候无法正常访问到meta数据,有尝试清掉zk中的元数据后进行重启,但是还是会报错。所以需要解决这个缺少包的问题。

根据类查看缺少jar命令

grep -rn 'org/apache/hadoop/hbase/protobuf/generated/AccessControlProtos$HasPermissionRequest' /opt/hbase-2.4.14/lib/

4.png

hbase2.4中有对应类的包,将hbase2.4的包放在2.1版本中,然后重启能正常启动。

cd /opt/hbase  #该路径是2.1的安装部署路径
mkdir /tmp/hbase-jar
mv lib/hbase-protocol-2.1.0.jar /tmp/hbase-jar/
mv lib/shaded-clients/hbase-shaded-client-2.1.0.jar /tmp/hbase-jar/
mv lib/shaded-clients/hbase-shaded-client-byo-hadoop-2.1.0.jar /tmp/hbase-jar/
mv lib/shaded-clients/hbase-shaded-mapreduce-2.1.0.jar /tmp/hbase-jar/
cp /opt/hbase-2.4.14/lib/hbase-protocol-2.4.14.jar lib/
cp /opt/hbase-2.4.14/lib/shaded-clients/hbase-shaded-client-2.4.14.jar lib/shaded-clients/
cp /opt/hbase-2.4.14/lib/shaded-clients/hbase-shaded-client-byo-hadoop-2.4.14.jar lib/shaded-clients/
cp /opt/hbase-2.4.14/lib/shaded-clients/hbase-shaded-mapreduce-2.4.14.jar lib/shaded-clients/

清理数据

/opt/hbase/bin/hbase-cleanup.sh --cleanAll
#需要集群中的core-site.xml、hdfs-site.xml文件,会将zk、hdfs中的数据全部清理。

5.png


相关文章

某系统被入侵挖矿排查案例

某系统被入侵挖矿排查案例

1、当时的出现的情况是:执行 top、w、netstat命令的时候,会出现卡住的情况,无法正常使用2、我们上传新的top命令之后,只是看到CPU使用率比较高,但是看不到占用CPU的异常进程3、我们通过...

大数据集群部署规划(四)组件建议规格

类型指标名称规格说明HDFS单对NameNode最大文件数1亿-单DataNode最大block数500万GC参数 -Xmx32G单个DataNode磁盘最多block数50万-单个目录下最多文件目录...

hdfs数据迁移

hdfs数据迁移

通过使用distcp进行数据全量迁移DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作...

MySQL运维实战(5.6) 字符集设置对mysqldump的影响

mysqldump不指定字符集不指定字符集时,默认使用了utf8。可能和环境有关系。mysqldump -uroot test test_load >&n...

MySQL运维实战(6)用户认证插件caching_sha2_password

MySQL用户认证可以使用几种不同的方式,创建用户时可以制定认证方式:create user 'username'@'%' identif...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。