clickhouse对接集群hdfs(二)

九月2年前技术文章1144

前提:集群中已经部署了hadoop集群和clickhouse集群,clickhouse集群进行对接hdfs

1、调整配置文件

将集群中的hdfs-site.xml文件同步到ck集群节点的/etc/clickhouse-server路径下

修改对应用户组权限

cd /etc/clickhouse-serve
chown clickhouse:clickhouse hdfs-site.xml

1.png

conf文件中增加hdfs相关配置

vim config.xml #增加如下配置

<hdfs>
    <libhdfs3_conf>/etc/clickhouse-server/hdfs-site.xml</libhdfs3_conf>
</hdfs>

2.png

2、重启clickhouse进程

/etc/init.d/clickhouse-server restart

3、冒烟测试

clickhouse-client --host=172.16.121.0 --port=9000 --database=default --user=default --password 
#输入default用户密码
hadoop001 :) use db2;

#创建hdfs表
CREATE TABLE test_hdfs
(
    id Int32
)
ENGINE HDFS('hdfs://mycluster/1.txt','CSV');



hadoop001 :) insert into test_hdfs values (1),(2)(3);
hadoop001 :) select * from test_hdfs;

查看hdfs路径



相关文章

kafka开启kerberos和ACL

kafka开启kerberos和ACL

kafka开启kerberos和ACL一、部署kafka-KB包1.上传软件包依次点击 部署中心----部署组件----上传软件包选择需要升级的kafka版本并点击确定 2.部署kafka依次点击部署...

Flink window详解

Flink window详解

一、窗口(window)一般真实的流都是无界的,如果是无界怎样处理无界的数据可以把无限的数据流进行切分,得到有限的数据集进行处理 —— 也 就是得到有界流 窗口(window)就是将无限流切割为有限流...

域名购买及备案

域名购买及备案

购买域名域名控制台 -- 域名列表 -- 注册域名注意域名购买时候域名系统中填写的持有者单位名称需与提交审核证件中的单位名称严格完全一致的模板认证中企业/组织相关材料及填写要求可参考此文档https:...

Flume使用案例之Flume与Flume之间数据传递(单Flume多Channel、Sink)

目标:使用flume1监控文件变动,flume1将变动内容传递给flume-2,flume-2负责存储到HDFS。同时flume1将变动内容传递给flume-3,flume-3负责输出到local分步...

MySQL DDL 风险评估

MySQL DDL 风险评估

一、前言变更是数据库离不开的话题,从 MySQL 5.6 开始,推出 online DDL 即变更期间不锁表,本篇文章介绍 MySQL 变更对数据库的影响如何去判断。二、DDL 风险提示1. 变更速查...

数据湖技术之iceberg(九)Spark与Iceberg整合写操作

数据湖技术之iceberg(九)Spark与Iceberg整合写操作

1. INSERT INTO"insert into"是向Iceberg表中插入数据,有两种语法形式:"INSERT INTO tbl VALUES (1,"z...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。