Doris集群部署
一、部署Doris集群
1.部署doris服务
(1)下载Doris
登陆地址https://doris.apache.org/download
选择需要下载的版本,这里选择2.0 source版本
(2)部署FE
fdisk -l 查看系统中的磁盘
执行格式化命令
mkfs.xfs /dev/sdX
创建挂载目录
mkdir /data/doris/doris-meta
挂载目录
mount /dev/sdX /data/doris/doris-meta
在FE创建安装目录
mkdir /opt/dtstack
cd /opt/dtstack/
将doris安装包放至各创建的目录并解压
mv apache-doris-2.0.0-bin-x64-noavx2.tar.gz /opt/dtstack
tar -zxf apache-doris-2.0.0-bin-x64-noavx2.tar.gz
在各doris节点将解压后的目录重命名为Doris
mv apache-doris-2.0.0-bin-x64-noavx2/fe Doris/
(3)部署BE
fdisk -l 查看系统中的磁盘
执行格式化命令
mkfs.xfs /dev/sdX
创建挂载目录
mkdir /data/doris/data1
挂载目录
mount /dev/sdX /data/doris/data1
在BE创建安装目录
mkdir /opt/dtstack
cd /opt/dtstack/
将doris安装包放至各创建的目录并解压
mv apache-doris-2.0.0-bin-x64-noavx2.tar.gz /opt/dtstack
tar -zxf apache-doris-2.0.0-bin-x64-noavx2.tar.gz
在各BE节点将解压后的目录重命名为Doris
mv apache-doris-2.0.0-bin-x64-noavx2/be Doris/
2.配置Doris
(1)配置FE(各FE节点执行)
配置 FE-Config
vi /opt/dtstack/Doris/fe/conf/fe.conf
取消 priority_networks 的注释,修改参数
当前节点的 IP 地址为 172.16.120.119,则需要更改为172.16.120.0/23填入
这里需要填入的是 IP 子网网段地址,并非 IP 地址
priority_networks = 172.16.120.0/23
storage_root_path = /data/doris/doris-meta
保存退出
(2)安装mysql客户端
下载免安装的 MySQL 客户端
wget https://doris-build-hk.oss-cn-hongkong.aliyuncs.com/mysql-client/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz
解压MySQL 客户端并进入bin目录
tar -zxf mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz
cd mysql-5.7.22-linux-glibc2.12-x86_64/bin/
后执行下面的命令连接 Doris并查看状态
查看 FE 运行状态
mysql -uroot -P9030 -h127.0.0.1
SHOW FRONTENDS\G;
(3)配置BE(各BE节点执行)
配置 BE-Config
vi Doris/be/conf/be.conf
取消 priority_networks 的注释,修改参数
当前节点的 IP 地址为 172.16.120.119,则需要更改为172.16.120.0/23填入
这里需要填入的是 IP 子网网段地址,并非 IP 地址
priority_networks = 172.16.120.0/23
修改storage_root_path
vi /opt/dtstack/Doris/be/conf/be.conf
storage_root_path = /data/doris/data1
保存退出
将配置文件拷贝至其它be节点
scp be.conf hadoop02:`pwd`
scp be.conf hadoop03:`pwd`
配置 JAVA_HOME 环境变量
编辑启动脚本第一行添加JAVA_HOME 环境变量
vi bin/start_be.sh
export JAVA_HOME=/usr/local/jdk
(4)注册BE
进入MySQL 客户端
cd /opt/dtstack/mysql-5.7.22-linux-glibc2.12-x86_64/bin/
连接mysql
mysql -uroot -P9030 -h127.0.0.1
执行以下命令来添加每一个 BE
ALTER SYSTEM ADD BACKEND "BE_IP:9050";
查看 BE 运行状态
SHOW PROC '/backends'\G;
也可通过前台页面查看
3.启动doris
(1)启动FE
进入 FE 安装目录下
cd /opt/dtstack/Doris/fe
执行如下命令,完成 FE 的启动
./bin/start_fe.sh --daemon
查看 FE 运行状态
curl http://127.0.0.1:8030/api/bootstrap
这里 IP 和 端口分别是 FE 的 IP 和 http_port(默认8030),如果是在 FE 节点执行,直接运行上面的命令即可。如果返回结果中带有 "msg":"success" 字样,则说明启动成功。
(1)停止FE(跳过)
进入 FE 安装目录
cd /opt/dtstack/Doris/fe
执行下面的命令完成 FE 的停止
./bin/stop_fe.sh
(2)启动BE
进入 BE 安装目录下
cd /opt/dtstack/Doris/be
执行如下命令,完成 BE 的启动
./bin/start_be.sh --daemon
查看 BE 运行状态
curl http://127.0.0.1:8040/api/health
如果返回: {"status": "OK","msg": "To Be Added"} 则表示启动成功
(3)停止BE(跳过)
进入 FE 安装目录
cd /opt/dtstack/Doris/be
执行下面的命令完成 FE 的停止
./bin/stop_be.sh