Atlas集成Hive

楼高2年前技术文章581

1 集成原理

image.png

2 验证Hive元数据采集效果

(1) 查看Atlas里是否有Hive元数据

image.png

(2) 进入Hive创建一个库表

create database if not exists foo;

image.png

(3) 进入Atlas查看元数据

image.png

3 历史元数据处理

在上线Atlas之前Hive可能运行很久了,所以历史上的元数据无法触发hook,因此需要一个工具来做初 始化导入。 Apache Atlas提供了一个命令行脚本 import-hive.sh ,用于将Apache Hive数据库和表的元数据导入 Apache Atlas。该脚本可用于使用Apache Hive中的数据库/表初始化Apache Atlas。此脚本支持导入特 定表的元数据,特定数据库中的表或所有数据库和表。

Usage 1: <atlas package>/hook-bin/import-hive.sh 

Usage 2: <atlas package>/hook-bin/import-hive.sh [-d <database regex> OR -- database <database regex>] [-t <table regex> OR --table <table regex>] 

Usage 3: <atlas package>/hook-bin/import-hive.sh [-f <filename>] 

        File Format: 

            database1:tbl1 

            database1:tbl2 

            database2:tbl1

导入工具调用的是对应的Bridgeorg.apache.atlas.hive.bridge.HiveMetaStoreBridge

(1) 执行导入脚本

任意找一台安装过Atlas client的节点,执行如下命令:

sudo su - atlas /usr/hdp/current/atlas-client/hook-bin/import-hive.sh

注意:一定要进入atlas用户,因为AtlasLinux管理账户是atlas,其他账户下可能会报没有权限的错 误。 脚本执行过程中会要求输入Atlas的管理员账号/密码,看到如下信息就成功了

Hive Meta Data imported successfully!!!

(2) 查看元数据

image.png

相关文章

MySQL运维实战之备份和恢复(8.9)xtrabackup备份指定表

备份部分表如果实例设置了参数innodb_file_per_table,xtrabackup可以备份部分表。通过--tables,--tables-file,--databases,--databas...

Elasticsearch8.5及Kibana8.5安装部署

Elasticsearch8.5及Kibana8.5安装部署

一、环境准备1、Centos7系统2、切换英文系统[root@master02 ~]# tail -n2 /etc/profile export LANG="en_US.UTF-8"3、下载、安...

Flink 状态管理

Flink 状态管理

一、  Flink 中的状态1、由一个任务维护,并且用来计算某个结果的所有数据,都属于这个任务的状态 2、可以认为状态就是一个本地变量,可以被任务的业务逻辑访问 3、Flink 会进行状态管理,包括状...

PostgreSQL 锁等待排查

PostgreSQL 锁等待排查

说明在数据库中,常用 锁 和 MVCC 来保障事务的一致性及提高并发性。锁问题的定位和排查也是数据库运维人员必会的技能,本篇文章介绍 PostgreSQL 如何排查定位锁堵塞问题。1. Postgre...

MySQL运维实战(2.4) SSL认证在MySQL中的应用

MySQL支持使用tls进行通信。tls主要有几个作用对客户端、服务端之间的通信数据进行加密。包括客户端发往服务端的SQL,服务端返回给客户端的数据。客户端可以验证服务端的身份。服务端也可以验证客户端...

DBMS_SYSTEM跟踪10046

SET_SQL_TRACE_IN_SESSION只能设置level 1的10046事件--启用level 1 Trace EXEC SYS.DBMS_SYSTEM.SET_SQL_TRACE_IN_...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。