clickhouse对接集群hdfs(二)

九月2年前技术文章1023

前提:集群中已经部署了hadoop集群和clickhouse集群,clickhouse集群进行对接hdfs

1、调整配置文件

将集群中的hdfs-site.xml文件同步到ck集群节点的/etc/clickhouse-server路径下

修改对应用户组权限

cd /etc/clickhouse-serve
chown clickhouse:clickhouse hdfs-site.xml

1.png

conf文件中增加hdfs相关配置

vim config.xml #增加如下配置

<hdfs>
    <libhdfs3_conf>/etc/clickhouse-server/hdfs-site.xml</libhdfs3_conf>
</hdfs>

2.png

2、重启clickhouse进程

/etc/init.d/clickhouse-server restart

3、冒烟测试

clickhouse-client --host=172.16.121.0 --port=9000 --database=default --user=default --password 
#输入default用户密码
hadoop001 :) use db2;

#创建hdfs表
CREATE TABLE test_hdfs
(
    id Int32
)
ENGINE HDFS('hdfs://mycluster/1.txt','CSV');



hadoop001 :) insert into test_hdfs values (1),(2)(3);
hadoop001 :) select * from test_hdfs;

查看hdfs路径



相关文章

PG的执行计划

一、Explain基本使用1.1 命令解释explain [ ( option [,...] ) ] statement explain [ analyze ] [ verbose ] statem...

ChaosBlade介绍

ChaosBlade介绍

ChaosBlade 是阿里巴巴开源的一款遵循混沌工程原理和混沌实验模型的实验注入工具,帮助企业提升分布式系统的容错能力,并且在企业上云或往云原生系统迁移过程中业务连续性保障。Chaosblade 是...

企业级大数据安全架构(八)

企业级大数据安全架构(八)

前面第七章详细介绍了部署FreeIPA来做kerberos认证,这节接着介绍FreeIPA高可用部署1.FreeIPA高可用配置说明:在安装完一台ipa-server之后,在另一个备份节点部署ipa-...

MySQL基本配置文件

MySQL基本配置文件

# 5.7  # mkdir /data/mysql57/{data,logs,run} -pv [client] port ...

EasyMR之Yarn资源队列管理

EasyMR之Yarn资源队列管理

设想一下,你现在所在的公司有一套线上的hadoop集群。A部门经常做一些定时的BI报表,B部门则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景,这个时候到底如何分配资源满足这两个...

MongoDB的In-Memory存储引擎

   在企业版 3.2.6版本开始,MongoDB开始有In-Memory存储引擎,除了一些元数据和诊断数据外,In-Memory存储引擎不会存储任何数据到磁盘,包括配置数据、索引、用户凭证等。   ...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。