clickhouse对接集群hdfs(二)

九月11个月前技术文章665

前提:集群中已经部署了hadoop集群和clickhouse集群,clickhouse集群进行对接hdfs

1、调整配置文件

将集群中的hdfs-site.xml文件同步到ck集群节点的/etc/clickhouse-server路径下

修改对应用户组权限

cd /etc/clickhouse-serve
chown clickhouse:clickhouse hdfs-site.xml

1.png

conf文件中增加hdfs相关配置

vim config.xml #增加如下配置

<hdfs>
    <libhdfs3_conf>/etc/clickhouse-server/hdfs-site.xml</libhdfs3_conf>
</hdfs>

2.png

2、重启clickhouse进程

/etc/init.d/clickhouse-server restart

3、冒烟测试

clickhouse-client --host=172.16.121.0 --port=9000 --database=default --user=default --password 
#输入default用户密码
hadoop001 :) use db2;

#创建hdfs表
CREATE TABLE test_hdfs
(
    id Int32
)
ENGINE HDFS('hdfs://mycluster/1.txt','CSV');



hadoop001 :) insert into test_hdfs values (1),(2)(3);
hadoop001 :) select * from test_hdfs;

查看hdfs路径



相关文章

Nginx性能优化

Nginx性能优化

       前言:Nginx作为高性能web服务器,即使不特意调整配置参数也可以处理大量的并发请求。 以下的Nginx配置参数作为参考,具体需根据线上业务情况进行调整。一、worker进程work...

Zabbix监控接入

Zabbix监控1、环境实验机器:118.31.158.83(zabbix server)172.17.6.11(zabbix proxy)172.17.6.11(zabbix agent)2、安装z...

fio磁盘io压测

fio磁盘io压测

fio tar包地址:https://brick.kernel.dk/snaps/yum 安装gcc、fio使用到的ibaio-devel 引擎yum install -y gcc yum inst...

Linux 文本三剑客 - Grep

grep 是一个最初用于 Unix 操作系统的命令行工具。在给出文件列表或标准输入后,grep 会对匹配一个或多个正则表达式的文本进行搜索,并只输出匹配(或者不匹配)的行或文本。1970 年代,Uni...

oracle压测

一、oracle自带压测存储过程: link:https://blog.csdn.net/xiaofan23z/article/details/79789981、首先确定通过运行以下查询,确保为数据文...

Wireshark工具使用

Wireshark工具使用

一、介绍wireshark是一款免费、开源的网络抓包工具。项目地址如下:https://github.com/wireshark/wireshark应用如下:1. 网络管理员会使用wireshark来...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。