Atlas集成HBase

楼高2年前技术文章1496

1 集成原理 

Atlas HBase hookHBase master注册为协处理器。在检测到对HBase名称空间//列族的更改时, Atlas HookKafka通知更新Atlas中的元数据。按照以下说明在HBase中设置Atlas Hook,通过添加以下内容在 hbase-site.xml 中注册Atlas hook: 

<property> 

    <name>hbase.coprocessor.master.classes</name> 

    <value>org.apache.atlas.hbase.hook.HBaseAtlasCoprocessor</value> 

</property>

2 验证HBase元数据采集效果 

(1)查看HBase元数据

image.png

(2)创建HBase Table

hbase shell

create 't1' 'cf1'

image.png

(3) 再次查看元数据

image.png

3 历史元数据导入

如果HBaseAtlas上线之前早就上线了,所以需要同步历史上的元数据

(1)执行导入脚本 

任意找一台安装过Atlas client的节点,执行如下命令:

sudo su - atlas /usr/hdp/current/atlas-client/hook-bin/import-hbase.sh

注意:一定要进入atlas用户,因为AtlasLinux管理账户是atlas,其他账户下可能会报没有权限的错

 脚本执行过程中会要求输入Atlas的管理员账号/密码,看到如下信息就成功了:

image.png

(2)查看原数据

image.png

至此Atlas对接HBase完成,导入HBase数据完成

相关文章

MySQL DDL 风险评估

MySQL DDL 风险评估

一、前言变更是数据库离不开的话题,从 MySQL 5.6 开始,推出 online DDL 即变更期间不锁表,本篇文章介绍 MySQL 变更对数据库的影响如何去判断。二、DDL 风险提示1. 变更速查...

rancher上kube-prometheus部署报错处理

rancher上kube-prometheus部署报错处理

问题描述rancher 上安装kube-prometheus,版本:8.3.9  ,Chart 仓库:bitnami 服务 pod: prometheus-kube-prometheus-promet...

K3S部署和使用

K3S部署和使用

k3s介绍k3s是一个高可用的、经过CNCF认证的Kubernetes发行版,专为无人值守、资源受限、偏远地区或物联网设备内部的生产工作负载而设计。k3s安装参考文件使用配置文件安装k3s为了保证k3...

Hive与HBase整合文档

Hive与HBase整合文档

1.Hive整合HBase配置1.拷贝hbase 相关jar包将hbase 相关jar包拷贝到hive lib目录下hbase-client-0.98.13-hadoop2.jar hbase-co...

MySQL 小版本升级

MySQL 小版本升级

MySQL 版本一般不需要经常升级,如果需要使用某个新特性或者修改 BUG 就不得不升级小版本。1. 环境调研1. 当前数据库版本和需要升级到某个版本,如果升级需求 5.6.22+ 那么我们直接下载...

MySQL 8.0 新特性:Clone Plugin

MySQL 8.0 新特性:Clone Plugin

一、前言MySQL 在 8.0.17 加入了克隆插件,可以从本地或者远程克隆数据,比如需要创建主从关系,我们一般都是通过物理备份来做,那如果你使用的是 MySQL 8.0.17 及以上的版本那么就可以...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。