Atlas集成HBase

楼高2年前技术文章805

1 集成原理 

Atlas HBase hookHBase master注册为协处理器。在检测到对HBase名称空间//列族的更改时, Atlas HookKafka通知更新Atlas中的元数据。按照以下说明在HBase中设置Atlas Hook,通过添加以下内容在 hbase-site.xml 中注册Atlas hook: 

<property> 

    <name>hbase.coprocessor.master.classes</name> 

    <value>org.apache.atlas.hbase.hook.HBaseAtlasCoprocessor</value> 

</property>

2 验证HBase元数据采集效果 

(1)查看HBase元数据

image.png

(2)创建HBase Table

hbase shell

create 't1' 'cf1'

image.png

(3) 再次查看元数据

image.png

3 历史元数据导入

如果HBaseAtlas上线之前早就上线了,所以需要同步历史上的元数据

(1)执行导入脚本 

任意找一台安装过Atlas client的节点,执行如下命令:

sudo su - atlas /usr/hdp/current/atlas-client/hook-bin/import-hbase.sh

注意:一定要进入atlas用户,因为AtlasLinux管理账户是atlas,其他账户下可能会报没有权限的错

 脚本执行过程中会要求输入Atlas的管理员账号/密码,看到如下信息就成功了:

image.png

(2)查看原数据

image.png

至此Atlas对接HBase完成,导入HBase数据完成

相关文章

NAS文件被删除问题排查

NAS文件被删除问题排查

一、问题现象客户业务方反馈服务器上挂载的nas文件被删除,业务中许多文件丢失,业务受到严重影响。需要我方协助排查。二、问题背景该nas挂载到两台业务服务器上,后端应用为java应用,存储内容为jpg、...

Ambari部署

Ambari部署

Ambari 官方资料入口:https://www.cloudera.com/products/open-source/apache-hadoop/apache-ambari.htmlAmbari 相...

RBAC配置只读用户

一.背景有时候需要给第三方业务访问k8s集群,但是rancher无法实现提取容器内文件的功能。此时需要给第三方直接访问k8s集群的能力,并且进行一定的权限限制二.操作前了解相关配置和要求熟悉linux...

PG的统计信息(三)

1.3 数据分布类统计信息1.3.1 pg_stats通过对pg_stats的查询,可以查看每个字段的数据分析统计信息,类似SQL Server的直方图,为优化器选择最佳执行计划提供依据,pg_sta...

.gitlab-ci.yml 语法

.gitlab-ci.yml 语法

介绍管道配置从作业(job)开始, 作业是 .gitlab-ci.yml 文件的最基本元素。job是:定义了约束,指出应在什么条件下执行具有任意名称的顶级元素,并且必须至少包含 script 子句不限...

副本集的管理(一)

一、以单机模式的方式启动    当需要维护某个节点的时候,通常是以单机模式启动该节点,完成维护后再重启为集群中某节点。    如何以单机模式启动服务器?不指定replset选项 dbpath保持不变...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。