Doris集群部署

恩慈1年前技术文章895

一、部署Doris集群

1.部署doris服务

(1)下载Doris

            登陆地址https://doris.apache.org/download

            选择需要下载的版本这里选择2.0 source版本

 

(2)部署FE

fdisk -l 查看系统中的磁盘

执行格式化命令

mkfs.xfs /dev/sdX

创建挂载目录

mkdir /data/doris/doris-meta

挂载目录

mount /dev/sdX /data/doris/doris-meta

 

FE创建安装目录

mkdir /opt/dtstack

cd /opt/dtstack/

 

doris安装包放至各创建的目录并解压

mv apache-doris-2.0.0-bin-x64-noavx2.tar.gz /opt/dtstack

tar -zxf apache-doris-2.0.0-bin-x64-noavx2.tar.gz

 

在各doris节点将解压后的目录重命名为Doris

mv apache-doris-2.0.0-bin-x64-noavx2/fe  Doris/

(3)部署BE

fdisk -l 查看系统中的磁盘

执行格式化命令

mkfs.xfs /dev/sdX

创建挂载目录

mkdir /data/doris/data1

挂载目录

mount /dev/sdX  /data/doris/data1

 

BE创建安装目录

mkdir /opt/dtstack

cd /opt/dtstack/

 

doris安装包放至各创建的目录并解压

mv apache-doris-2.0.0-bin-x64-noavx2.tar.gz /opt/dtstack

tar -zxf apache-doris-2.0.0-bin-x64-noavx2.tar.gz

 

BE节点将解压后的目录重命名为Doris

mv apache-doris-2.0.0-bin-x64-noavx2/be  Doris/

 

2.配置Doris

(1)配置FEFE节点执行

配置 FE-Config

vi /opt/dtstack/Doris/fe/conf/fe.conf

 

取消 priority_networks 的注释,修改参数

当前节点的 IP 地址为 172.16.120.119,则需要更改为172.16.120.0/23填入

这里需要填入的是 IP 子网网段地址,并非 IP 地址

priority_networks = 172.16.120.0/23

storage_root_path = /data/doris/doris-meta

 

 

保存退出

(2)安装mysql客户端

下载免安装的 MySQL 客户端

wget https://doris-build-hk.oss-cn-hongkong.aliyuncs.com/mysql-client/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz 

 

解压MySQL 客户端并进入bin目录

tar -zxf mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz

cd mysql-5.7.22-linux-glibc2.12-x86_64/bin/ 

 

后执行下面的命令连接 Doris并查看状态

查看 FE 运行状态

mysql -uroot -P9030 -h127.0.0.1

SHOW FRONTENDS\G; 

 

(3)配置BEBE节点执行

配置 BE-Config

vi Doris/be/conf/be.conf

 

取消 priority_networks 的注释,修改参数

当前节点的 IP 地址为 172.16.120.119,则需要更改为172.16.120.0/23填入

这里需要填入的是 IP 子网网段地址,并非 IP 地址

priority_networks = 172.16.120.0/23 

 

 

修改storage_root_path

vi /opt/dtstack/Doris/be/conf/be.conf

storage_root_path = /data/doris/data1

 

保存退出

 

将配置文件拷贝至其它be节点

scp be.conf hadoop02:`pwd`

scp be.conf hadoop03:`pwd` 

 

配置 JAVA_HOME 环境变量

编辑启动脚本第一行添加JAVA_HOME 环境变量

vi bin/start_be.sh

export JAVA_HOME=/usr/local/jdk 

 

(4)注册BE

 

进入MySQL 客户端

cd /opt/dtstack/mysql-5.7.22-linux-glibc2.12-x86_64/bin/

 

连接mysql

mysql -uroot -P9030 -h127.0.0.1

 

执行以下命令来添加每一个 BE

ALTER SYSTEM ADD BACKEND "BE_IP:9050"; 

 

查看 BE 运行状态

SHOW PROC '/backends'\G; 

 

也可通过前台页面查看 

 

3.启动doris

(1)启动FE

进入 FE 安装目录下

cd /opt/dtstack/Doris/fe

 

执行如下命令,完成 FE 的启动

./bin/start_fe.sh --daemon

 

查看 FE 运行状态

curl http://127.0.0.1:8030/api/bootstrap

 

这里 IP 和 端口分别是 FE IP http_port(默认8030),如果是在 FE 节点执行,直接运行上面的命令即可。如果返回结果中带有 "msg":"success" 字样,则说明启动成功。

 

(1)停止FE跳过

进入 FE 安装目录

cd /opt/dtstack/Doris/fe

 

执行下面的命令完成 FE 的停止

./bin/stop_fe.sh

 

(2)启动BE

 

进入 BE 安装目录下

cd /opt/dtstack/Doris/be

 

执行如下命令,完成 BE 的启动

./bin/start_be.sh --daemon

 

查看 BE 运行状态

curl http://127.0.0.1:8040/api/health

 

如果返回: {"status": "OK","msg": "To Be Added"} 则表示启动成功

 

(3)停止BE跳过

进入 FE 安装目录

cd /opt/dtstack/Doris/be

 

执行下面的命令完成 FE 的停止

./bin/stop_be.sh

(4)登陆前台页面查看

  


相关文章

MySQL 查询 Binlog 生成时间

MySQL 查询 Binlog 生成时间

描述本 SOP 介绍如何查询 Binlog 的生成时间。云上 RDS 有日志管理,但是自建实例没有,该脚本可用于自建实例闪回定位 Binlog 文件。脚本介绍通过读取 Binlog FORMAT_DE...

ES运维(四)扩容方式迁移

ES运维(四)扩容方式迁移

1 迁移概述本次模拟es在线迁移方式:集群扩容-->数据迁移-->老节点下线-->服务重启刷新配置。 中间master替换的时候会有短暂的不可用。 另外业务测需注意:老节点下线前...

配置跨集群互信

1.源集群修改项创建跨域krbtgt Principal进入kadmin命令行,执行以下2条命令:(如有加密算法需要添加加密算法部分)addprinc krbtgt/源集群realm@目标集群real...

CDH-集群节点下线

CDH-集群节点下线

1、前期准备确认下线节点确认节点组件信息确认下线节点数据存储大小确定剩余节点存储大小如果下线节点数据存储大小大于剩余节点存储大小,则不能进行下线,可能存在数据丢失的情况2、操作首先确认待下线节点中是否...

CDP实操--集群配置Kerberos

CDP实操--集群配置Kerberos

1.1检查IPA设置以及配置Kerberos前提条件登录IPA Server在services页面里都是ipa自带的服务,集群配置完kereros后,这里会增加集群里各项hadoop服务。在host页...

Docker Engine - Containerd

Docker Engine - Containerd

1、背景Docker 崛起很久以前,Docker 强势崛起,以 “镜像” 这个大招席卷全球,对其他技术进行致命的降维打击,使其毫无招架之力,就连 Google 也不例外。Google 为了不被拍死在沙...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。