clickhouse对接集群hdfs(二)

九月4个月前技术文章176

前提:集群中已经部署了hadoop集群和clickhouse集群,clickhouse集群进行对接hdfs

1、调整配置文件

将集群中的hdfs-site.xml文件同步到ck集群节点的/etc/clickhouse-server路径下

修改对应用户组权限

cd /etc/clickhouse-serve
chown clickhouse:clickhouse hdfs-site.xml

1.png

conf文件中增加hdfs相关配置

vim config.xml #增加如下配置

<hdfs>
    <libhdfs3_conf>/etc/clickhouse-server/hdfs-site.xml</libhdfs3_conf>
</hdfs>

2.png

2、重启clickhouse进程

/etc/init.d/clickhouse-server restart

3、冒烟测试

clickhouse-client --host=172.16.121.0 --port=9000 --database=default --user=default --password 
#输入default用户密码
hadoop001 :) use db2;

#创建hdfs表
CREATE TABLE test_hdfs
(
    id Int32
)
ENGINE HDFS('hdfs://mycluster/1.txt','CSV');



hadoop001 :) insert into test_hdfs values (1),(2)(3);
hadoop001 :) select * from test_hdfs;

查看hdfs路径



相关文章

Spark 对接 Alluxio

Spark 对接 Alluxio

1、概览        Spark 1.1 或更高版本的 Spark可以通过其与 HDFS 兼容的接口直接访问 Alluxio 集群。 使用 Alluxio 作为数据访问层,Spark 应用程序可以透...

sqlserver收缩事务日志失败

sqlserver收缩事务日志失败

一、背景2022.01.12 日晚上,sqlserver实例空间使用率达到85%开始告警。查看发现目前日志空间有较大增长,如下图所示:与客户方进行反馈,在1月13日中午进行事务日志的收缩操作,发现日志...

Hadoop3.2.4纠删码实操(三)

Hadoop3.2.4纠删码实操(三)

1、纠删码实操1.在HDFS中建立以下三个目录,并都设置为XOR-2-1-1024k策略。[root@hd2 hadoop]# hadoop fs -mkdir /ec_xor_s SLF4J: C...

strace

一、简介strace常用来跟踪进程执行时的系统调用和所接收的信号。 在Linux世界,进程不能直接访问硬件设备,当进程需要访问硬件设备(比如读取磁盘文件,接收网络数据等等)时,必须由用户态模式切换至内...

PostgreSQL 命令行工具介绍

前言psql 是 PostgreSQL 自带的命令行交互客户端工具,类似于 MySQL 的 mysql -u -p 不过相当于 MySQL 的命令行工具 psql 功能更丰富些,例如单击 tab 自动...

大数据组件Apache NiFi

大数据组件Apache NiFi

概述NiFi是美国国家安全局开发并使用了8年的可视化数据集成产品,2014年NAS将其贡献给了Apache社区,2015年成为Apache顶级项目。是一个基于Web图形界面,通过拖拽、连接、配置完成基...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。