ranger对接hbase 处理class not found

九月1年前技术文章561

hbase 2.1版本在配置ranger插件,重启hbase时,hmaster无法正常启动,日志显示meta region is in state OPENING

1.jpg

此时查看regionserver 中日志报错:


解决方法:

因为regionserver中缺少包,所以master在启动的时候无法正常访问到meta数据,有尝试清掉zk中的元数据后进行重启,但是还是会报错。所以需要解决这个缺少包的问题。

根据类查看缺少jar命令

grep -rn 'org/apache/hadoop/hbase/protobuf/generated/AccessControlProtos$HasPermissionRequest' /opt/hbase-2.4.14/lib/

4.png

hbase2.4中有对应类的包,将hbase2.4的包放在2.1版本中,然后重启能正常启动。

cd /opt/hbase  #该路径是2.1的安装部署路径
mkdir /tmp/hbase-jar
mv lib/hbase-protocol-2.1.0.jar /tmp/hbase-jar/
mv lib/shaded-clients/hbase-shaded-client-2.1.0.jar /tmp/hbase-jar/
mv lib/shaded-clients/hbase-shaded-client-byo-hadoop-2.1.0.jar /tmp/hbase-jar/
mv lib/shaded-clients/hbase-shaded-mapreduce-2.1.0.jar /tmp/hbase-jar/
cp /opt/hbase-2.4.14/lib/hbase-protocol-2.4.14.jar lib/
cp /opt/hbase-2.4.14/lib/shaded-clients/hbase-shaded-client-2.4.14.jar lib/shaded-clients/
cp /opt/hbase-2.4.14/lib/shaded-clients/hbase-shaded-client-byo-hadoop-2.4.14.jar lib/shaded-clients/
cp /opt/hbase-2.4.14/lib/shaded-clients/hbase-shaded-mapreduce-2.4.14.jar lib/shaded-clients/

清理数据

/opt/hbase/bin/hbase-cleanup.sh --cleanAll
#需要集群中的core-site.xml、hdfs-site.xml文件,会将zk、hdfs中的数据全部清理。

5.png


相关文章

FLink-Canal

canal formatCanal 是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一...

数仓主流架构简介之三

数仓主流架构简介之三

一、数仓架构经历过程随着数据量的暴增和数据实时性要求越来越高,以及大数据技术的发展驱动企业不断升级迭代,数据仓库架构方面也在不断演进,分别经历了以下过程:早期经典数仓架构 > 离线大数据架构 &...

将Nexus作为容器镜像仓库的配置过程

将Nexus作为容器镜像仓库的配置过程

Docker,Helm和Kubernetes的简化容器管理Nexus Repository建立在广泛的企业存储功能之上,是适用于所有Docker镜像和Helm Chart存储库的强大的注册表。Nexu...

使用Sqoop将数据从Hive导入MySQL(一)

使用Sqoop将数据从Hive导入MySQL(一)

使用Sqoop将数据从Hive导入MySQL首先查看csv数据类型创建类似的hive表并导入数据CREATE TABLE data (    province STRING,    code INT,...

MySQL 查询 Binlog 生成时间

MySQL 查询 Binlog 生成时间

描述本 SOP 介绍如何查询 Binlog 的生成时间。云上 RDS 有日志管理,但是自建实例没有,该脚本可用于自建实例闪回定位 Binlog 文件。脚本介绍通过读取 Binlog FORMAT_DE...

8.0 新特性-Redo 配置的变化

8.0 新特性-Redo 配置的变化

说明本篇文章将介绍 MySQL Redo 日志的作用,及需要关注的参数,在 5.7、8.0 Redo 的变化。1. Redo 日志介绍1.1. Redo 有什么作用为了取得更好的读写性能,InnoDB...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。