开源大数据集群部署（一）集群实施规划
1、集群规划
1.1 本次集群规划信息
本次实际生产业务体量存在巨大差异，但集群规划内容相同，因此建议实际生产环境按照按照一定比例扩展即可。
主机操作系统要求
软硬件信息 | 参数 |
配置 | 8C16G |
操作系统版本 | CentOS Linux release 7.8.2003 (Core) |
java版本 | java version "1.8.0_281" |
hadoop版本 | hadoop 3.2.4 |
集群版本规划
集群组件 | 版本 |
HDFS | 3.2.4 |
YARN | 3.2.4 |
MapReduce2 | 3.2.4 |
Hive | 3.1.2 |
HBase | 2.1.0 |
ZooKeeper | 3.7.1 |
Trino | 389 |
主机角色规划
服务器 | IP | 角色 |
hd1.dtstack.com（管理节点） | 172.16.104.226 | namenode/resourcemanager/journalnode/zkfc//hive_metastore/hiveserver2 |
hd2.dtstack.com（管理节点） | 172.16.106.252 | namenode/resourcemanager/journalnode/zkfc/hamster/ranger |
hd3.dtstack.com（数据节点） | 172.16.107.127 | datanode/nodemanager/journalnode/ |
hd1.dtstack.com(kerberos节点) | 172.16.106.165 | freeipaserver |
配置目录规划
所有安装包目录为/opt/hadoop 类似
组件 | 目录名称 | 目录 |
HADOOP | hadoop datanode目录 | /data/hadoop/dfs/data |
hadoop namenode目录 | /data/hadoop/dfs/name | |
hadoop临时目录 | /data/hadoop/tmp | |
ZOOKEEPER | zookeeper数据目录 | /data/zookeeper/data/ |
zookeeper日志目录 | /data/zookeeper/log/ |
组件系统用户规划
组件 | 启动用户 | 所属组 |
hdfs（namenode/datanode/zkfc/journalnode） | hdfs | hadoop |
yarn（reourcemanager/nodemanager/） | yarn | hadoop |
zookeeper | zookeeper | zookeeper |
hive | hive | hadoop |
hbase | hbase | hadoop |
mysql | mysql | mysql |
ranger | ranger | ranger |
grafana | grafana | grafana |
prometheus | prometheus | prometheus |
trino | trino | hadoop |
