flink集成iceberg访问hive catalog任务报错

南墨2年前技术文章979

问题现象

flink在集成iceberg后访问hive catalog任务无法执行,但flink自身任务正常,iceberg表任务无法执行,报错如下:

Caused by: java.lang.RuntimeException: org.apache.flink.runtime.JobException: 
Creating the input splits caused an error: 
Failed to get table info from metastore ice.flink_ice

1.png

问题原因

导致flink在执行iceberg表操作的时候需要链接metastore,但是由于hive配置无法获取到,因此无法连接metastore,导致ttransportexception。进而出现无法获取表的报错

解决办法

在flink加载hive catalog时,设置相关hive的conf目录,使相关catalog能加载到对应hive conf即可,实例如下:

CREATE CATALOG ice_catalog WITH (
  'type'='iceberg',
  'catalog-type'='hive',
  'hive-conf-dir'='/opt/apache-hadoop/hive/conf',
  'uri'='thrift://hadoop02p.test.com:9083',
  'clients'='5',
  'property-version'='1',
  'warehouse'='/user/hive/warehouse'
);

以上示例中:hive-conf-dir配置项为此问题关键配置,添加此配置后即可解决问题

hive catalog加载配置理论上应该从hive目录找寻,目前怀疑此处有配置冲突或者环境变量没有配置导致此问题


相关文章

Redis 内存使用情况查看

内存情况查看1、MEMORY STATS--连接 redisredis-cli--执行 MEMORY STATS命令查询内存使用详情 MEMORY STATSRedis实例的内存开销主要由两部分组成:...

MySQL运维实战(6)用户认证插件caching_sha2_password

MySQL用户认证可以使用几种不同的方式,创建用户时可以制定认证方式:create user 'username'@'%' identif...

华为云创建udf

如何使用 1.把以上程序打包成AddDoublesUDF.jar,并上传到HDFS指定目录下(如“/user/hive_examples_jars/”)且创建函数的用户与使用函数的用户有该文件的可读...

数据库连接异常问题排查

数据库连接异常问题排查

问题描述客户反馈应用端连接数据库异常,报错截图如下:“已超过了锁请求超时时段”。问题排查1、测试端口联通性从应用侧服务器上分别测试数据库服务端口联通性,检测服务正常监听2、数据库服务器重启同客户沟通优...

MongoDB的In-Memory存储引擎

   在企业版 3.2.6版本开始,MongoDB开始有In-Memory存储引擎,除了一些元数据和诊断数据外,In-Memory存储引擎不会存储任何数据到磁盘,包括配置数据、索引、用户凭证等。   ...

Flink 运行架构简介

Flink 运行架构简介

一、Flink简介Apache Flink 是一个开源的分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。它具备强一致性的计算能力、大规模的扩展性,整体性能非常卓越,同时支持SQL、Ja...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。