开源大数据集群部署(一)集群实施规划

櫰木2年前技术文章715

1、集群规划

1.1 本次集群规划信息

本次实际生产业务体量存在巨大差异,但集群规划内容相同,因此建议实际生产环境按照按照一定比例扩展即可。

主机操作系统要求

软硬件信息

参数

配置

8C16G

操作系统版本

CentOS Linux release 7.8.2003 (Core)

java版本

java version "1.8.0_281"

hadoop版本

hadoop 3.2.4

集群版本规划 

集群组件

版本

HDFS

3.2.4

YARN

3.2.4

MapReduce2

3.2.4

Hive

3.1.2

HBase

2.1.0

ZooKeeper

3.7.1

Trino

389

主机角色规划

服务器

IP

角色

hd1.dtstack.com(管理节点)

172.16.104.226

namenode/resourcemanager/journalnode/zkfc//hive_metastore/hiveserver2

hd2.dtstack.com(管理节点)

172.16.106.252

namenode/resourcemanager/journalnode/zkfc/hamster/ranger

hd3.dtstack.com(数据节点)

172.16.107.127

datanode/nodemanager/journalnode/

hd1.dtstack.com(kerberos节点)

172.16.106.165

freeipaserver

配置目录规划

所有安装包目录为/opt/hadoop 类似



组件

目录名称

目录

HADOOP

hadoop datanode目录

/data/hadoop/dfs/data

hadoop namenode目录

/data/hadoop/dfs/name

hadoop临时目录

/data/hadoop/tmp

ZOOKEEPER

zookeeper数据目录

/data/zookeeper/data/

zookeeper日志目录

/data/zookeeper/log/

 

组件系统用户规划

组件

启动用户

所属组

hdfs(namenode/datanode/zkfc/journalnode)

hdfs

hadoop

yarn(reourcemanager/nodemanager/)

yarn

hadoop

zookeeper

zookeeper

zookeeper

hive

hive

hadoop

hbase

hbase

hadoop

mysql

mysql

mysql

ranger

ranger

ranger

grafana

grafana

grafana

prometheus

prometheus

prometheus

trino

trino

hadoop


相关文章

Yarn界面详解

Yarn界面详解

1.Active Nodes:表示Yarn集群管理的节点的个数,其实就是NodeManager的个数,集群有2个NodeManager从配置中可以看到每一个NodeManager管理的内存大小是163...

CDP实操--Ranger Tag-based策略验证(四)

CDP实操--Ranger Tag-based策略验证(四)

1.1Ranger Tag-based策略验证在Ranger webui里给allan_admin和sam_sec用户赋权,给予添加classification的权限使用allan_admin或者sa...

kafka开启Kerberos

1、修改server.properties#增加如下配置 listeners=SASL_PLAINTEXT://IP:port security.inter.broker.protocol=SAS...

MySQL 自增列使用上的一些 “坑”

MySQL 自增列使用上的一些 “坑”

前言MySQL 的规范中,一般都会建议表要有主键,常使用自增列作为主键字段,这和 MySQL 属于聚簇索引表有关,顺序增长的主键比较合适。最近有研发咨询,为什么有张表的自增主键变的非常大?而且偶尔还出...

HDP部署Tez UI

HDP部署Tez UI

首先部署tomcat在官网下载apache-tomcat-9.0.22.tar.gz[root@hdp02 opt]# wget https://archive.apache.org/dist/tom...

yarn常用命令

1、yarn application 查看任务1.1 列出所有 Application: yarn application -list1.2 根据 Application 状态过滤:yarn appl...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。