大数据集群部署规划(三)节点选配方案

南墨3年前技术文章2192

节点部署原则

适用场景

组网规则

管理节点、控制节点和数据节点分开部署

(此方案至少需要8个节点,manager为部署商业化大数据集群时所需例如:hdp,cdh等)

core × 11 + worker × n

manager × 2 (可选)

推荐)数据节点数2000-20000时采用此方案

集群节点数超过200时,各节点划分到不同子网,各子网通过核心交换机三层互联,每个子网的节点数控制在200个以内,不同子网中节点数量请保持均衡。

集群节点数低于200时,各节点部署在同一子网,集群内通过汇聚交换机二层互联。

core × 9 + worker × n

manager × 2 (可选)

(推荐)数据节点数500-2000时采用此方案

core × 5 + worker × n

manager × 2 (可选)

(推荐)数据节点数100-500时采用此方案

core × 3 + worker × n

manager × 2 (可选)

(推荐)数据节点数30-100时采用此方案

管理节点和控制节点合并部署,数据节点单独部署

(manager+core) × 3 + worker × n

(推荐)数据节点数3-30时采用此方案

集群内节点部署在同一子网,集群内通过汇聚交换机二层互联。

管理节点、控制节点和数据节点合并部署

最少(manager+core+worker)x 3
  • 节点数小于6的集群使用此方案

  • 此方案至少需要3个节点

说明:

生产环境或商用环境不推荐使用此场景:

  • 管理节点、控制节点和数据节点合并部署时,集群性能和可靠性都会产生较大影响。

  • 如节点数量满足需求,建议将数据节点单独部署。

  • 此场景集群如数据量较大建议采用10ge网络

集群内节点部署在同一子网,集群内通过汇聚交换机二层互联。

 


相关文章

使用Sqoop将数据从MySQL导入HBase (二)

使用Sqoop将数据从MySQL导入HBase (二)

创建hbase表create_namespace 'data';create 'data:data', {NAME => 'cf1'}, {NAME => 'cf2'}, {NAME =&...

trino开启https

trino开启https

一、生成https证书(所用到的openssl和keytool命令都是linux自带的)配置https证书:(1)创建目录[hdfs@hadoop01 hadoop]# mkdir -p /data/...

ElasticSearch shard&replica机制梳理和创建index图解

ElasticSearch shard&replica机制梳理和创建index图解

1、shard&replica的机制梳理1个index包含多个shard。一个shard包含index的部分数据每个shard都是最小的工作单元,承载部分数据,lucene实例,完整的建立索引...

shell脚本-expect

shell脚本-expect

一、概述       Expect是建立在tcl基础上的一个工具,Expect 是用来进行自动化控制和测试的工具。主要解决shell脚本中不可交互的问题。       在一些需要交互输入指令的场景下,...

爬坑记录------容器内外网络不通,端口无法访问

爬坑记录------容器内外网络不通,端口无法访问

背景:客户需要一套datahub用于分许sparksql血缘,因此需要基于docker搭建,在搭建过程中遇到一个较坑的问题,这里做以记录搭建完成后查看docker容器已经正常启动查看红框中的内容信息,...

离线安装Kerberos

首先下载kerberos客户端所需rpm包在网站https://pkgs.org/搜索以下3个rpm包:https://pkgs.org/libkadm5krb5-libskrb5-workstati...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。