大数据集群部署规划(三)节点选配方案

南墨3年前技术文章2079

节点部署原则

适用场景

组网规则

管理节点、控制节点和数据节点分开部署

(此方案至少需要8个节点,manager为部署商业化大数据集群时所需例如:hdp,cdh等)

core × 11 + worker × n

manager × 2 (可选)

推荐)数据节点数2000-20000时采用此方案

集群节点数超过200时,各节点划分到不同子网,各子网通过核心交换机三层互联,每个子网的节点数控制在200个以内,不同子网中节点数量请保持均衡。

集群节点数低于200时,各节点部署在同一子网,集群内通过汇聚交换机二层互联。

core × 9 + worker × n

manager × 2 (可选)

(推荐)数据节点数500-2000时采用此方案

core × 5 + worker × n

manager × 2 (可选)

(推荐)数据节点数100-500时采用此方案

core × 3 + worker × n

manager × 2 (可选)

(推荐)数据节点数30-100时采用此方案

管理节点和控制节点合并部署,数据节点单独部署

(manager+core) × 3 + worker × n

(推荐)数据节点数3-30时采用此方案

集群内节点部署在同一子网,集群内通过汇聚交换机二层互联。

管理节点、控制节点和数据节点合并部署

最少(manager+core+worker)x 3
  • 节点数小于6的集群使用此方案

  • 此方案至少需要3个节点

说明:

生产环境或商用环境不推荐使用此场景:

  • 管理节点、控制节点和数据节点合并部署时,集群性能和可靠性都会产生较大影响。

  • 如节点数量满足需求,建议将数据节点单独部署。

  • 此场景集群如数据量较大建议采用10ge网络

集群内节点部署在同一子网,集群内通过汇聚交换机二层互联。

 


相关文章

CDH-集群节点下线

CDH-集群节点下线

1、前期准备确认下线节点确认节点组件信息确认下线节点数据存储大小确定剩余节点存储大小如果下线节点数据存储大小大于剩余节点存储大小,则不能进行下线,可能存在数据丢失的情况2、操作首先确认待下线节点中是否...

nginx配置反向代理某个url

nginx配置反向代理某个url

本文讲的这个漏洞 主要是为了解决漏洞扫描的问题我先介绍下这个漏洞主要是因为访问https://172.16.120.17:18090/ws/v1/cluster/info这个 yarn rest的一个...

mysql高可用部署(主主模式)

添加主从同步用户1. 登陆mysqlmysql -uroot -p 2. 创建同步用户CREATE USER 'sync_user'@'%' IDENTIFIED BY '1qaz!QAZ'; 3. ...

lru_cache 缓存

Python 语法: @functools.lru_cache(maxsize=128, typed=False)Least-recently-used 装饰器。Iru 最近最少使用、cache 缓存...

分布式存储-GlusterFS

分布式存储-GlusterFS

一、分布式存储介绍我们知道NAS是远程通过网络共享目录, SAN是远程通过网络共享块设备。那么分布式存储你可以看作拥有多台存储服务器连接起来的存储输出端。把这多台存储服务器的存储合起来做成一个整体再通...

LINUX 安全运维-用户

Linux提供了各种不同的用户和角色,而有些用户和角色,系统根本不需要,应该删除他们,因为帐号越多,系统就越不安全!黑客可能利用他们,威胁服务器的安全。删除不需要的用户:for i in {adm,l...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。