flink-hive方言配置(Hive Dialect)
简介
在使用 Hive 方言时,Flink 允许用户用 Hive 语法来编写 SQL 语句。 通过提供与 Hive 语法的兼容性,我们旨在改善与 Hive 的互操作性,并减少用户需要在 Flink 和 Hive 之间切换来执行不同语句的情况。
配置
Flink 目前支持两种 SQL 方言: default
和 hive
。你需要先切换到 Hive 方言,然后才能使用 Hive 语法编写。
1、SQL Client
SQL 方言可以通过 table.sql-dialect
属性指定。你可以在 SQL 客户端启动后设置方言。
Flink SQL> SET table.sql-dialect = hive; -- 使用 Hive 方言 [INFO] Session property has been set. Flink SQL> SET table.sql-dialect = default; -- 使用 Flink 默认 方言 [INFO] Session property has been set.
2、SQL Gateway Configured With HiveServer2 Endpoint #
在启动了 HiveServer2 endpoint 的 SQL Gateway中,会默认使用 Hive 方言,所以如果你想使用 Hive 方言的话,你不需要手动切换至 Hive 方言,直接就能使用。但是如果你想使用 Flink 的默认方言,你也手动进行切换。
# 假设已经通过 beeline 连接上了 SQL Gateway jdbc:hive2> SET table.sql-dialect = default; -- 使用 Flink 默认 方言 jdbc:hive2> SET table.sql-dialect = hive; -- 使用 Hive 方言
示例:
-- hive方言 set table.sql-dialect=hive; -- 默认的 set table.sql-dialect=default; -- 设置之后再flink中就可以直接使用hive的语法了 -- 使用hive的语法只能做离线处理 create table student1 ( id string, name string, age int, gender string, clazz string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS textfile location '/tmp/student/';