flink集成iceberg访问hive catalog任务报错

南墨3年前技术文章1535

问题现象

flink在集成iceberg后访问hive catalog任务无法执行,但flink自身任务正常,iceberg表任务无法执行,报错如下:

Caused by: java.lang.RuntimeException: org.apache.flink.runtime.JobException: 
Creating the input splits caused an error: 
Failed to get table info from metastore ice.flink_ice

1.png

问题原因

导致flink在执行iceberg表操作的时候需要链接metastore,但是由于hive配置无法获取到,因此无法连接metastore,导致ttransportexception。进而出现无法获取表的报错

解决办法

在flink加载hive catalog时,设置相关hive的conf目录,使相关catalog能加载到对应hive conf即可,实例如下:

CREATE CATALOG ice_catalog WITH (
  'type'='iceberg',
  'catalog-type'='hive',
  'hive-conf-dir'='/opt/apache-hadoop/hive/conf',
  'uri'='thrift://hadoop02p.test.com:9083',
  'clients'='5',
  'property-version'='1',
  'warehouse'='/user/hive/warehouse'
);

以上示例中:hive-conf-dir配置项为此问题关键配置,添加此配置后即可解决问题

hive catalog加载配置理论上应该从hive目录找寻,目前怀疑此处有配置冲突或者环境变量没有配置导致此问题


相关文章

单节点Kafka部署并开启Kerberos配置

安装Kerberosserver节点安装kerberos相关软件yum install -y krb5-server krb5-workstation krb5-libs修改配置文件krb5.conf...

Clickhouse表引擎介绍

Clickhouse表引擎介绍

引擎分类ClickHouse表引擎一共分为四个系列,分别是Log、MergeTree、Integration、Special。其中包含了两种特殊的表引擎Replicated、Distributed,功...

CDH实操--修改集群主机名

CDH实操--修改集群主机名

1、停止集群2、停止cmsystemctl stop cloudera-scm-serversystemctl stop cloudera-scm-agnet3、修改服务器主机名修改下列配置文件下的主...

副本集同步原理

一、Initial Sync大体来说,MongoDB副本集同步主要包含两个步骤:1. Initial Sync,全量同步2. Replication,即sync oplog先通过init sync同步...

HDP-Yarn开启CPU调度和隔离

HDP-Yarn开启CPU调度和隔离

进入到ambari主界面 点击yarn 点击config CPU Scheduling and Isolation 设置为enable修改高级配置点击ADVANCED搜索需要修改的配yarn.node...

大数据集群二次开发及调优使用指导(二)-HBase

1     典型业务的调优1.1     提升写效率1.1.1   客户端相关配置在往HBase写入...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。