开源大数据集群部署(一)集群实施规划

櫰木2年前技术文章697

1、集群规划

1.1 本次集群规划信息

本次实际生产业务体量存在巨大差异,但集群规划内容相同,因此建议实际生产环境按照按照一定比例扩展即可。

主机操作系统要求

软硬件信息

参数

配置

8C16G

操作系统版本

CentOS Linux release 7.8.2003 (Core)

java版本

java version "1.8.0_281"

hadoop版本

hadoop 3.2.4

集群版本规划 

集群组件

版本

HDFS

3.2.4

YARN

3.2.4

MapReduce2

3.2.4

Hive

3.1.2

HBase

2.1.0

ZooKeeper

3.7.1

Trino

389

主机角色规划

服务器

IP

角色

hd1.dtstack.com(管理节点)

172.16.104.226

namenode/resourcemanager/journalnode/zkfc//hive_metastore/hiveserver2

hd2.dtstack.com(管理节点)

172.16.106.252

namenode/resourcemanager/journalnode/zkfc/hamster/ranger

hd3.dtstack.com(数据节点)

172.16.107.127

datanode/nodemanager/journalnode/

hd1.dtstack.com(kerberos节点)

172.16.106.165

freeipaserver

配置目录规划

所有安装包目录为/opt/hadoop 类似



组件

目录名称

目录

HADOOP

hadoop datanode目录

/data/hadoop/dfs/data

hadoop namenode目录

/data/hadoop/dfs/name

hadoop临时目录

/data/hadoop/tmp

ZOOKEEPER

zookeeper数据目录

/data/zookeeper/data/

zookeeper日志目录

/data/zookeeper/log/

 

组件系统用户规划

组件

启动用户

所属组

hdfs(namenode/datanode/zkfc/journalnode)

hdfs

hadoop

yarn(reourcemanager/nodemanager/)

yarn

hadoop

zookeeper

zookeeper

zookeeper

hive

hive

hadoop

hbase

hbase

hadoop

mysql

mysql

mysql

ranger

ranger

ranger

grafana

grafana

grafana

prometheus

prometheus

prometheus

trino

trino

hadoop


相关文章

Hive调优

1.Fetch抓取Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM students;在这种情况下,Hive可以简单地读取studen...

CDP实操--Ranger开启ldap认证

CDP实操--Ranger开启ldap认证

集群中已经部署了ldap主主模式,并且使用haproxy进行负载均衡,keepalive提供了虚拟ip。页面配置:Ranger进行同步用户:验证:使用ldap用户登录页面:FAQ:1、admin超级管...

ACOS统一监控之java应用断诊

ACOS统一监控之java应用断诊

一、前言对于一些使用Java语言搭建的应用架构,java的应用诊断可以帮助开发人员快速发现和解决应用程序中的问题,提高应用程序的性能和稳定性。以下是常用Java应用诊断方法:堆转储分析:使用工具如MA...

Spark thriftserver对接cdh hive

Spark thriftserver对接cdh hive

1、背景客户需要使用spark的thriftserver来通过beeline或者jdbc 来使用spark sql环境: spark 3.2.0hive: 2.1.1-cdh6.3.2hadoop:...

ORC、Parquet 等列式存储的优点

ORC 和Parquet 都是高性能的存储方式,这两种存储格式总会带来存储和性能上的提升Parquet:1. Parquet 支持嵌套的数据模型,类似于Protocol Buffers,每一个数据模型...

开源大数据集群部署(五)Freeipa客户端部署及配置(kerberos+ldap)

开源大数据集群部署(五)Freeipa客户端部署及配置(kerberos+ldap)

1、安装IPA-Client安装(每个节点均需安装)yum install ipa-client -y2、执行安装命令ipa-client-install3、执行完成后进入交互阶段4、安装完成后查看页...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。