大数据集群部署规划(三)节点选配方案

南墨2年前技术文章1356

节点部署原则

适用场景

组网规则

管理节点、控制节点和数据节点分开部署

(此方案至少需要8个节点,manager为部署商业化大数据集群时所需例如:hdp,cdh等)

core × 11 + worker × n

manager × 2 (可选)

推荐)数据节点数2000-20000时采用此方案

集群节点数超过200时,各节点划分到不同子网,各子网通过核心交换机三层互联,每个子网的节点数控制在200个以内,不同子网中节点数量请保持均衡。

集群节点数低于200时,各节点部署在同一子网,集群内通过汇聚交换机二层互联。

core × 9 + worker × n

manager × 2 (可选)

(推荐)数据节点数500-2000时采用此方案

core × 5 + worker × n

manager × 2 (可选)

(推荐)数据节点数100-500时采用此方案

core × 3 + worker × n

manager × 2 (可选)

(推荐)数据节点数30-100时采用此方案

管理节点和控制节点合并部署,数据节点单独部署

(manager+core) × 3 + worker × n

(推荐)数据节点数3-30时采用此方案

集群内节点部署在同一子网,集群内通过汇聚交换机二层互联。

管理节点、控制节点和数据节点合并部署

最少(manager+core+worker)x 3
  • 节点数小于6的集群使用此方案

  • 此方案至少需要3个节点

说明:

生产环境或商用环境不推荐使用此场景:

  • 管理节点、控制节点和数据节点合并部署时,集群性能和可靠性都会产生较大影响。

  • 如节点数量满足需求,建议将数据节点单独部署。

  • 此场景集群如数据量较大建议采用10ge网络

集群内节点部署在同一子网,集群内通过汇聚交换机二层互联。

 


相关文章

NameNode和SecondaryNameNode工作详解

NameNode和SecondaryNameNode工作详解

一、NN和SNN工作机制我们可以思考一个问题:NameNode中的元数据是存储在哪里的首先假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问NameNode的元数据,响应客户请求,...

StorageClass(NFS)

StorageClass(NFS)

一、什么是StorageClassKubernetes提供了一套可以自动创建PV的机制,即:Dynamic Provisioning.而这个机制的核心在于:StorageClass这个API对象.St...

xtrabackup全量备份恢复操作

xtrabackup全量备份恢复操作

一、核实环境1、核实服务器环境cat /etc/centos-release2、核实数据库版本随着Percona XtraBackup 8.0 的推出,Percona XtraBackup 2.4将继...

CDH实操--客户端安装

CDH实操--客户端安装

CDH客户端安装概述安装CDH客户端,主要是方便在CDH部署节点以外,通过客户端的方式连接CDH上的hdfs,hive和hbase服务1、安装jdk(适配CDH即可,一般1.8)2、获取安装包 3、部...

Ldap高可用部署

Ldap配置高可用两个节点上均执行mkdir /data/ldapcd /data/ldap1.1. 添加mod_syncprov.ldif文件vi mod_syncprov.ldif 内容如下:ob...

FQA-Alluxo web ui出现Server Configuration Check failed

FQA-Alluxo web ui出现Server Configuration Check failed

1、背景在部署Alluxio高可用集群后,alluxio web页面出现Server Configuration Check failed2、解决办法./bin/alluxio fsadmin doc...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。