Atlas集成HBase
1 集成原理
Atlas HBase hook与HBase master注册为协处理器。在检测到对HBase名称空间/表/列族的更改时, Atlas Hook过Kafka通知更新Atlas中的元数据。按照以下说明在HBase中设置Atlas Hook,通过添加以下内容在 hbase-site.xml 中注册Atlas hook:
<property>
<name>hbase.coprocessor.master.classes</name>
<value>org.apache.atlas.hbase.hook.HBaseAtlasCoprocessor</value>
</property>
2 验证HBase元数据采集效果
(1)查看HBase元数据
(2)创建HBase Table
hbase shell
create 't1' 'cf1'
(3) 再次查看元数据
3 历史元数据导入
如果HBase在Atlas上线之前早就上线了,所以需要同步历史上的元数据
(1)执行导入脚本
任意找一台安装过Atlas client的节点,执行如下命令:
sudo su - atlas /usr/hdp/current/atlas-client/hook-bin/import-hbase.sh
注意:一定要进入atlas用户,因为Atlas的Linux管理账户是atlas,其他账户下可能会报没有权限的错误
脚本执行过程中会要求输入Atlas的管理员账号/密码,看到如下信息就成功了:
(2)查看原数据
至此Atlas对接HBase完成,导入HBase数据完成