Atlas集成HBase

楼高2年前技术文章642

1 集成原理 

Atlas HBase hookHBase master注册为协处理器。在检测到对HBase名称空间//列族的更改时, Atlas HookKafka通知更新Atlas中的元数据。按照以下说明在HBase中设置Atlas Hook,通过添加以下内容在 hbase-site.xml 中注册Atlas hook: 

<property> 

    <name>hbase.coprocessor.master.classes</name> 

    <value>org.apache.atlas.hbase.hook.HBaseAtlasCoprocessor</value> 

</property>

2 验证HBase元数据采集效果 

(1)查看HBase元数据

image.png

(2)创建HBase Table

hbase shell

create 't1' 'cf1'

image.png

(3) 再次查看元数据

image.png

3 历史元数据导入

如果HBaseAtlas上线之前早就上线了,所以需要同步历史上的元数据

(1)执行导入脚本 

任意找一台安装过Atlas client的节点,执行如下命令:

sudo su - atlas /usr/hdp/current/atlas-client/hook-bin/import-hbase.sh

注意:一定要进入atlas用户,因为AtlasLinux管理账户是atlas,其他账户下可能会报没有权限的错

 脚本执行过程中会要求输入Atlas的管理员账号/密码,看到如下信息就成功了:

image.png

(2)查看原数据

image.png

至此Atlas对接HBase完成,导入HBase数据完成

相关文章

MySQL运维实战(5.1) 字符和编码的基本概念

MySQL运维实战(5.1) 字符和编码的基本概念

字符和编码字符字符是符号,是人们用于交流的各类符号,如26个英文字母、汉字、标点符号、数学运算符、其他语言的字母和符号。编码编码是计算机中以二进制方式存储字符的方式。字符集字符集是字符和编码的映射表。...

hive创建hbase映射表

hive创建hbase映射表

hbase创建表,导入数据/opt/app/hbase-2.1.0/bin/hbase shell查看已有表,创建新表,查看表结构listcreate 'student', 'info', 'scor...

CDH实操--客户端安装

CDH实操--客户端安装

概述安装CDH客户端,主要是方便在CDH部署节点以外,通过客户端的方式连接CDH上的hdfs,hive和hbase服务1、安装jdk(适配CDH即可,一般1.8)2、获取安装包3、部署安装包把安装包解...

SQLServer执行计划

SQLServer执行计划

一、执行计划概览RDS SQLServer 执行计划可以在性能分析中查看,也可以在登陆数据库后查看执行计划。(1)在 DMS 登陆数据库后查看,情况如下: 具体执行计划内容如下: (2)在性能分析中找...

ES部署以及扩容

ES部署以及扩容

单节点RPM包方式部署1、下载RPM包官网下载地址:Download Elasticsearch | Elastic默认下载的为最新版本,如果想要下载历史版本,点击此处查看历史版本此处安装ES7.X...

在kubernetes中,让某个node成为专属节点

如何让node 去”选择”只有谁(pod)能部署到自身上面?看了下现有的Node Selectors、Node Affinity、Node Taints, 经过比对,发现Node Taints 更适合...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。