大数据集群部署规划(四)组件建议规格

南墨2年前技术文章848

类型

指标名称

规格

说明

HDFS

单对NameNode最大文件数

1亿

-

单DataNode最大block数

500万

GC参数 -Xmx32G

单个DataNode磁盘最多block数

50万

-

单个目录下最多文件目录数(不含递归)

100万

配置参数:

dfs.namenode.fs-limits.max-directory-items

每个文件中可包含的最大块数

100万

配置参数:

dfs.namenode.fs-limits.max-blocks-per-file

文件路径最大长度

8000

配置参数:

dfs.namenode.fs-limits.max-component-length

最小块大小

1048576

配置参数:

dfs.namenode.fs-limits.min-block-size

单个DataNode允许的最少正常磁盘个数

1

配置参数:

dfs.datanode.failed.volumes.tolerated

Yarn

单NodeManager可分配的最大内存

物理内存*0.8

-

单NodeManager可分配的最大vcore

逻辑CPU*1.25~2

虚拟机环境请勿超分

HBase

HBase RegionServer数量

128

单个HBase服务的RegionServer实例数

单个RegionServer实例的Region数量

2000

每个RegionServer实例支持的最大Region数

单个RegionServe支持的活跃Region数量

200

每个RegionServer实例支持的最大活跃Region数

Hive

单Hive表支持的分区数量

1万

单个Hive表建议的最大分区个数

单表最大文件数量

100万

单个Hive表建议存储在HDFS上的最大文件个数

最大分区数量

300万

单个Hive服务所有表建议的最大分区个数

单HiveServer最大并发数

500

单个HiveServer实例支持的最大并发个数

Kafka

单Kafka集群节点数

256

-

Topic名称最大长度

200字节

Topic名称长度限制在200字节以内

Solr

单Solr集群实例数

200

Solr进程数

单SolrServer支持的Core数量

200

-

单Core支持的记录数

1~4亿

-

单SolrServer最大内存配置

32GB

采用G1的GC算法

单SolrServer内存和磁盘最优比例

1:20

-

Elasticsearch

单Elasticsearch集群实例数

512

-

单Elasticsearch集群支持的最大shard数

7万

单Elasticsearch集群最大数据量2PB

单Elasticsearch集群支持的最大索引数

5000

-

单Elasticsearch实例最大内存配置

32GB

采用G1的GC算法

单shard支持的记录数

1~4亿

-

单shard支持存储的数据量

20GB

-

单EsNode实例,最大shard数

200

-

单EsNode实例,最大存储量

5TB

-

单EsNode实例内存和磁盘最优比例

1:50

热数据最优比例1:50

冷数据最优比例1:100

ZooKeeper

每个ZooKeeper实例,单个IP最大连接数

2000

-

每个ZooKeeper实例,最大连接总数

20000

-

默认参数情况下,最大ZNode数

400000

-

单个ZNode大小

4M

-

Flume

单集群Flume最多实例数

32

Flume最大实例数

Presto

单集群计算实例数

1-32

-

所有计算实例的Worker总个数上限

400

-

单个计算实例的Coordinator/Worker的JVM下限

1GB

-

单个计算实例的Coordinator个数

1-3

-

单个计算实例的Worker个数

1-256

-

ClickHouse

单集群ClickHouse实例数

64

单集群ClickHouse支持的最大实例数

每个ClickHouseServer实例,支持的最大表数量

5000

-

每个ClickHouseServer实例,单个表支持的最大分区数

10000

-

Kudu

Master数量

一般3台即可

与复制因子数相同,为奇数

tablet server数

不超过100

限制:300

tablet数/tablet server(含副本)

1000+

限制:4000

tablet数/表/tablet server(含副本)

60+

限制:60

单台tablet server存储数据(含副本,压缩后)

8TB+

限制:10TB

单tablet存储数据(超过会性能下降、合并失败、启动慢)

10G

限制:50G

单tablet对应CPU核心数(不考虑副本,不考虑小表)

1

限制:多对1

tablet server内存

16G以上最佳

限制:不低于4G

 


相关文章

Doris性能测试

Doris性能测试

1.性能测试(1)环境信息硬件环境 软件环境l Doris 部署 3BE 3FE;l 内核版本:Linux version 5.5.0-96-genericl 操作系统版本:CentOS Linux...

Redis 运维规范_key 设计规范

Redis 运维规范_key 设计规范

一、key 设计规范1、设计合理的Key名称与长度Key名称:要见名知其意,方便快速定位问题及相关业务。key 名称要避免使用单双引号、转义字符等特殊符号。 key长度:在能完整描述业务的前提下尽量精...

CDH 5.16.2原地升级到CDP7.1.7

CDH 5.16.2原地升级到CDP7.1.7

1 升级Cloudera管理器1.1 升级Cloudera管理器准备1.1.1.1 关闭cloudera上托管的组件1.1.1.2 关闭Cloudera management service服务检查o...

MySQL运维实战(5.6) 字符集设置对mysqldump的影响

mysqldump不指定字符集不指定字符集时,默认使用了utf8。可能和环境有关系。mysqldump -uroot test test_load >&n...

k8s删除Terminating状态的命名空间

问题描述Kubernetes中namespace有两种常见的状态,即Active和Terminating状态,其中Terminating状态一般会比较少见,当对应的命名空间下还存在运行的资源,但该命名...

Spark调优方式

(1)资源参数调优num-executors:设置Spark作业总共要用多少个Executor进程来执行executor-memory:设置每个Executor进程的内存executor-cores:...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。