大数据集群部署规划(三)节点选配方案

南墨2年前技术文章2000

节点部署原则

适用场景

组网规则

管理节点、控制节点和数据节点分开部署

(此方案至少需要8个节点,manager为部署商业化大数据集群时所需例如:hdp,cdh等)

core × 11 + worker × n

manager × 2 (可选)

推荐)数据节点数2000-20000时采用此方案

集群节点数超过200时,各节点划分到不同子网,各子网通过核心交换机三层互联,每个子网的节点数控制在200个以内,不同子网中节点数量请保持均衡。

集群节点数低于200时,各节点部署在同一子网,集群内通过汇聚交换机二层互联。

core × 9 + worker × n

manager × 2 (可选)

(推荐)数据节点数500-2000时采用此方案

core × 5 + worker × n

manager × 2 (可选)

(推荐)数据节点数100-500时采用此方案

core × 3 + worker × n

manager × 2 (可选)

(推荐)数据节点数30-100时采用此方案

管理节点和控制节点合并部署,数据节点单独部署

(manager+core) × 3 + worker × n

(推荐)数据节点数3-30时采用此方案

集群内节点部署在同一子网,集群内通过汇聚交换机二层互联。

管理节点、控制节点和数据节点合并部署

最少(manager+core+worker)x 3
  • 节点数小于6的集群使用此方案

  • 此方案至少需要3个节点

说明:

生产环境或商用环境不推荐使用此场景:

  • 管理节点、控制节点和数据节点合并部署时,集群性能和可靠性都会产生较大影响。

  • 如节点数量满足需求,建议将数据节点单独部署。

  • 此场景集群如数据量较大建议采用10ge网络

集群内节点部署在同一子网,集群内通过汇聚交换机二层互联。

 


相关文章

GitLab 变量的介绍与使用

环境变量是一个动态命名的值,它可以影响正在运行的进程在操作系统上的行为方式。一、环境变量分类在 GitLab CI/CD 中,环境变量分为两部分:预定义环境变量自定义环境变量1.1 预定义环境变量Gi...

PG常用命令

1、连库相关#连库 $ psql -h <hostname or ip> -p <端口> [数据库名称] [用户名称] #连库并执行命令 $ psql -h <ho...

Ansible自动化运维平台部署

一、部署前准备部署机器准备计算机名解析关闭防火墙、selinux时间同步软件包获得ssh免密登陆约定事项:所有服务器全部采用静态ip主机名称IP地址manage01192.168.98.200/24n...

Debezium部署以及同步之DB2数据到Kafka的同步

Debezium部署以及同步之DB2数据到Kafka的同步

因为Debezium依赖于kafka之上,所以我们先部署kafka和zookeeper(忽略)。1 环境介绍Debezium1.9版本 Db2 11.5版本  附官网:http...

MySQL 复制-无数据环境搭建异步复制

MySQL 复制-无数据环境搭建异步复制

全新初始化(新环境,无数据)搭建 MySQL 异步复制 & GTID 复制标准文档。一、前言环境说明:操作系统 CentOS 7  & 数据库版本 5.7.32参数要求:主库必须开启...

oracle gi安装报错PRCR-1079 : Failed to start resource ora.cvu

安装gi执行root.sh报错:PRCR-1079 : Failed to start resource ora.cvu安装gi执行root.sh报错:PRCC-1014 : LISTENER_SCA...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。