Atlas集成HBase

楼高1年前技术文章451

1 集成原理 

Atlas HBase hookHBase master注册为协处理器。在检测到对HBase名称空间//列族的更改时, Atlas HookKafka通知更新Atlas中的元数据。按照以下说明在HBase中设置Atlas Hook,通过添加以下内容在 hbase-site.xml 中注册Atlas hook: 

<property> 

    <name>hbase.coprocessor.master.classes</name> 

    <value>org.apache.atlas.hbase.hook.HBaseAtlasCoprocessor</value> 

</property>

2 验证HBase元数据采集效果 

(1)查看HBase元数据

image.png

(2)创建HBase Table

hbase shell

create 't1' 'cf1'

image.png

(3) 再次查看元数据

image.png

3 历史元数据导入

如果HBaseAtlas上线之前早就上线了,所以需要同步历史上的元数据

(1)执行导入脚本 

任意找一台安装过Atlas client的节点,执行如下命令:

sudo su - atlas /usr/hdp/current/atlas-client/hook-bin/import-hbase.sh

注意:一定要进入atlas用户,因为AtlasLinux管理账户是atlas,其他账户下可能会报没有权限的错

 脚本执行过程中会要求输入Atlas的管理员账号/密码,看到如下信息就成功了:

image.png

(2)查看原数据

image.png

至此Atlas对接HBase完成,导入HBase数据完成

相关文章

hbase迁移目录说明

路径(1.0.0)路径(0.94)是否迁移说明/hbase/WALs/hbase/.logs否被HLog实例管理的WAL文件。 ### /hbase/WALs/data-hbase.com,60020...

ES字段类型与内存管理

ES字段类型与内存管理

一、ES常见字段类型:1、 概述字段是数据存储的最小微粒,根据数据的性质不同将数据分成不同的字段类型,熟悉不同字段类型的特性,对索引的Mapping设计、查询调优都极其重要。2、 关键参数Index:...

MySQL优化器特性(三)表关联之BKA(Batched Key Access)优化

MySQL优化器特性(三)表关联之BKA(Batched Key Access)优化

单表range查询时,可以使用MRR优化,先对rowid进行排序,然后再回表查询数据。在表关联的时候,也可以使用类似的优化方法,先根据关联条件取出被关联表的rowid,将rowid缓存在join bu...

StorageClass(NFS)

StorageClass(NFS)

一、什么是StorageClassKubernetes提供了一套可以自动创建PV的机制,即:Dynamic Provisioning.而这个机制的核心在于:StorageClass这个API对象.St...

Kubernetes网络模型与CNI网络插件

Kubernetes网络模型与CNI网络插件

在 Flannel 的网络插件中,容器跨主机网络的两种实现方法:UDP 和 VXLAN。它们有一个共性,就是用户的容器都连接在 docker0 网桥上。而网络插件则在宿主机上创建了一个特殊的设备(UD...

8.0 新特性-Redo 配置的变化

8.0 新特性-Redo 配置的变化

说明本篇文章将介绍 MySQL Redo 日志的作用,及需要关注的参数,在 5.7、8.0 Redo 的变化。1. Redo 日志介绍1.1. Redo 有什么作用为了取得更好的读写性能,InnoDB...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。