Atlas集成HBase

楼高2年前技术文章981

1 集成原理 

Atlas HBase hookHBase master注册为协处理器。在检测到对HBase名称空间//列族的更改时, Atlas HookKafka通知更新Atlas中的元数据。按照以下说明在HBase中设置Atlas Hook,通过添加以下内容在 hbase-site.xml 中注册Atlas hook: 

<property> 

    <name>hbase.coprocessor.master.classes</name> 

    <value>org.apache.atlas.hbase.hook.HBaseAtlasCoprocessor</value> 

</property>

2 验证HBase元数据采集效果 

(1)查看HBase元数据

image.png

(2)创建HBase Table

hbase shell

create 't1' 'cf1'

image.png

(3) 再次查看元数据

image.png

3 历史元数据导入

如果HBaseAtlas上线之前早就上线了,所以需要同步历史上的元数据

(1)执行导入脚本 

任意找一台安装过Atlas client的节点,执行如下命令:

sudo su - atlas /usr/hdp/current/atlas-client/hook-bin/import-hbase.sh

注意:一定要进入atlas用户,因为AtlasLinux管理账户是atlas,其他账户下可能会报没有权限的错

 脚本执行过程中会要求输入Atlas的管理员账号/密码,看到如下信息就成功了:

image.png

(2)查看原数据

image.png

至此Atlas对接HBase完成,导入HBase数据完成

相关文章

Ambari开启kerberos+安全方案

Ambari开启kerberos+安全方案

安装Kerberosserver节点安装kerberos相关软件yum install -y krb5-server krb5-workstation krb5-libsclient节点安装yum i...

Prometheus 监控 Nginx

Prometheus 监控 Nginx

一、Nginx_exporter安装下载链接:https://github.com/discordianfish/nginx_exporter下载nginx_exporter的docker镜像。doc...

Clickhouse MergeTree异常数据处理

说明clickhouse mergetree的数据文件如果遇到数据损坏,可能会导致clickhouse无法启动。本文章说明如何处理这类问题。测试我们先人为模拟破坏mergetree数据文件:detac...

Prometheus结合VictoriaMetrics:更高效、稳定的多集群监控方案

在Prometheus的架构中,其核心组件包括Prometheus Server、Exporters、Alertmanager等,它采用基于拉的模型收集指标数据,并存储在本地TSDB中,支持通过Pro...

keycloak高可用部署

keycloak高可用部署

添加keycloak应用rancher应用商店模式添加keycloak仓库地址rancher应用商店添加bitnami的helm仓库地址https://charts.bitnami.com/bitna...

副本集的管理(一)

一、以单机模式的方式启动    当需要维护某个节点的时候,通常是以单机模式启动该节点,完成维护后再重启为集群中某节点。    如何以单机模式启动服务器?不指定replset选项 dbpath保持不变...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。