clickhouse对接集群hdfs(二)

九月1年前技术文章884

前提:集群中已经部署了hadoop集群和clickhouse集群,clickhouse集群进行对接hdfs

1、调整配置文件

将集群中的hdfs-site.xml文件同步到ck集群节点的/etc/clickhouse-server路径下

修改对应用户组权限

cd /etc/clickhouse-serve
chown clickhouse:clickhouse hdfs-site.xml

1.png

conf文件中增加hdfs相关配置

vim config.xml #增加如下配置

<hdfs>
    <libhdfs3_conf>/etc/clickhouse-server/hdfs-site.xml</libhdfs3_conf>
</hdfs>

2.png

2、重启clickhouse进程

/etc/init.d/clickhouse-server restart

3、冒烟测试

clickhouse-client --host=172.16.121.0 --port=9000 --database=default --user=default --password 
#输入default用户密码
hadoop001 :) use db2;

#创建hdfs表
CREATE TABLE test_hdfs
(
    id Int32
)
ENGINE HDFS('hdfs://mycluster/1.txt','CSV');



hadoop001 :) insert into test_hdfs values (1),(2)(3);
hadoop001 :) select * from test_hdfs;

查看hdfs路径



相关文章

Zabbix监控接入

Zabbix监控1、环境实验机器:118.31.158.83(zabbix server)172.17.6.11(zabbix proxy)172.17.6.11(zabbix agent)2、安装z...

创建跨集群用户

1.       登陆源集群和目标集群创建迁移时需要使用的用户(例:hadoop_copy),赋予用户集群超级管理员权限和hdfs超级用户权...

阿里金融云经典网络和线下某银行实现网络互通

阿里金融云经典网络和线下某银行实现网络互通

需求某银行需要和某阿里金融云账号下的经典网络实例内网打通。已知不考虑将该服务器从经典网络类型迁移至VPC类型。阿里金融云环境下,之前是支持拉线下到经典网络专线的,但是目前和阿里侧核查,确认已不支持,仅...

PostgreSQL 会话管理

说明当数据库发生持续的 CPU 使用率打高时,数据库中很可能正在跑一些大查询或者较复杂的 SQL,如果不及时处理很可能会影响到业务,此时我们需要通过查询会话找到 “罪魁祸首” 并 kill 掉它,然后...

MySQL keepalived配置(一)

一、MySQL数据初始化1.1、创建ha元数据结构:create database myha;  use myha;CREATE TABLE `ha_conf` ( `id` int(11) NOT...

oracle adg切换

1 主库转备库注意:原则上至多只能有一个主库,但是备库可以多个,所以需要先进行主库转备库操作。1.1 查看主库角色切换状态SYS@proe>select name,database_role,s...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。