CDH配置impala自动同步HMS元数据

耀灵2年前技术文章1256

1、进入CM界面 > Hive > 配置 > 搜索 启用数据库中的存储通知(英文界面搜索:Enable Stored Notifications in Database),并且勾选,注意一定要勾选,配置后面的配置不生效。数据库通知的保留时间默认为2天,意味着如果事件通知没有更新超过2天事件将会丢失

1.png在 CM界面 > Hive > 配置 > 搜索 hive-site.xml 配置如下几处

2.pnghive-site.xml 的 Hive Metastore Server 高级配置代码段(安全阀)

<property>
<name>hive.metastore.notifications.add.thrift.objects</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.alter.notifications.basic</name>
<value>false</value>
</property>

如果你想在使用Spark和其他应用程序将数据插入现有表和分区时会生成事件,需要在hive-site.xml 的 Hive 服务高级配置代码段(安全阀)以及hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)添加配置

3.png4.png保存上述配置,并重启Hive 是配置生效,可以在webui 界面确认参数是否生效

修改前:

5.png


修改生效后:

6.png

然后在CM  > Impala > 配置 > 搜索 catalog 命令行参数 添加如下配置,注意前面为两个英文中划线符号。


7.png

该参数表示启用hms 滚动事件功能并以秒为单位设置轮询频率,建议该值小于5秒,参数默认值为0 ,表示不启用。配置该参数前需要确认hive-site.xml 的 Hive Metastore Server 高级配置代码段(安全阀)的配置已经生效,否则重启impala 时,Catalog Server 将无法正常启动。


验证配置是否生效可以在Catalog Server WebUI 界面中 /varz 下查看

8.png


2、功能验证

使用beeline 进入hive 中test库下创建表testimpala,并查看

9.png

10.png

在impala 中查看

12.png

在日常使用如Hive和Spark之类的工具来处理Hive表中的原始数据时,会生成新的HMS元数据(数据库、表、分区)和文件系统元数据(现有分区/表中的新文件)。在以前的Impala版本中,为了获取最新元数据信息,Impala需要手动执行INVALIDATE 或者 REFRESH  命令。随着impala 功能的不断完善,impala 的元数据同步问题终于在impala3.2得到有效的解决,并且该配置在CDP7.0.3中默认已经集成。


相关文章

k8s集群内的DNS原理与配置

背景:最近公司有个需求,要在POD应用容器里面能够访问到一些外部域名,这些域名都在一台自建的DNS服务器上做了解析绑定。如果直接在Pod容器里的/etc/hosts文件中设置域名解析,或修改/etc/...

grafana常见问题处理

grafana常见问题处理

发现了一个不错的grafana模版,下载安装后很多问题,需要处理后才能使用。第一个问题就是显示插件不存在。插件未找到问题处理安装插件并重启既然未找到插件,那我们肯定要安装下插件,使用grafana-c...

Redis 内存使用情况查看

内存情况查看1、MEMORY STATS--连接 redisredis-cli--执行 MEMORY STATS命令查询内存使用详情 MEMORY STATSRedis实例的内存开销主要由两部分组成:...

Jenkinsfile说明

Jenkinsfile说明

当我们在使用jenkins进行CI/CD的时候,简单的内容我们可以通过jenkins页面来实现配置。但是如果有复杂的需求还是需要通过jenkinsfile来实现jenkinsfile简单介绍Jenki...

OSS bucket权限设置

OSS bucket权限设置

问题描述调用oss的bucket资源,开始的时候可以访问,过几分钟再访问的时候,就提示拒绝访问问题原因是因为相应的bucket权限为私有,私有权限在访问文件对象时,是存在鉴权URL,存在时间有效性,所...

磁盘扩容

磁盘扩容

磁盘扩容 一、linux系统1、需求由于系统盘/数据盘打满,需要扩容至100G,首先在控制台后台进行磁盘扩容。注:只能扩容磁盘的最后一个分区2、查看扩容后的磁盘空间fdisk -l3、查看磁盘分区ls...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。