Atlas集成Hive

楼高2年前技术文章650

1 集成原理

image.png

2 验证Hive元数据采集效果

(1) 查看Atlas里是否有Hive元数据

image.png

(2) 进入Hive创建一个库表

create database if not exists foo;

image.png

(3) 进入Atlas查看元数据

image.png

3 历史元数据处理

在上线Atlas之前Hive可能运行很久了,所以历史上的元数据无法触发hook,因此需要一个工具来做初 始化导入。 Apache Atlas提供了一个命令行脚本 import-hive.sh ,用于将Apache Hive数据库和表的元数据导入 Apache Atlas。该脚本可用于使用Apache Hive中的数据库/表初始化Apache Atlas。此脚本支持导入特 定表的元数据,特定数据库中的表或所有数据库和表。

Usage 1: <atlas package>/hook-bin/import-hive.sh 

Usage 2: <atlas package>/hook-bin/import-hive.sh [-d <database regex> OR -- database <database regex>] [-t <table regex> OR --table <table regex>] 

Usage 3: <atlas package>/hook-bin/import-hive.sh [-f <filename>] 

        File Format: 

            database1:tbl1 

            database1:tbl2 

            database2:tbl1

导入工具调用的是对应的Bridgeorg.apache.atlas.hive.bridge.HiveMetaStoreBridge

(1) 执行导入脚本

任意找一台安装过Atlas client的节点,执行如下命令:

sudo su - atlas /usr/hdp/current/atlas-client/hook-bin/import-hive.sh

注意:一定要进入atlas用户,因为AtlasLinux管理账户是atlas,其他账户下可能会报没有权限的错 误。 脚本执行过程中会要求输入Atlas的管理员账号/密码,看到如下信息就成功了

Hive Meta Data imported successfully!!!

(2) 查看元数据

image.png

相关文章

oracle安装实例的响应文件模板解析

位置在:db解压目录下database/response/dbca.rsp###############################################################...

Prometheus基于Alertmanager实现钉钉告警

Prometheus基于Alertmanager实现钉钉告警

一、安装prometheus-webhook-dingtalk插件wget https://github.com/timonwong/prometheus-webhook-dingtalk/relea...

MySQL 自动化部署 5.6版本

MySQL 自动化部署 5.6版本

一、脚本环境说明系统:CentOS 7MySQL:该脚本只支持安装 MySQL 5.6 GA 版本如有问题可以联系:文若 wenruo@dtstack.com脚本默认安装路径 /usr/local/m...

磁盘存储和文件系统详解

磁盘存储和文件系统详解

1、磁盘结构设备文件:关联至一个设备驱动程序,进而能够与之对应硬件设备进行通信I/O Ports:I/O 设备地址一切皆文件:open(),read(),write(),close()设备类型:块设备...

MySQL运维实战之备份和恢复(8.3)xtrabackup增量备份

xtrabackup支持增量备份。在做增量备份之前,需要先做一个全量备份。xtrabackup会基于innodb page的lsn号来判断是否需要备份一个page。如果page lsn大于上次备份的l...

ACOS统一监控-应用监控

    在智能运维中的应用(APM)监控可谓是老生常谈,实现各个应用数据交互全面、安全、稳定的控制是应用监控核心价值。在应用监控的实现上各大产品也是尽显其能,总的来说都离不开全栈、端到端、链路、根因诊...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。