大数据集群部署规划(四)组件建议规格

南墨2个月前技术文章82

类型

指标名称

规格

说明

HDFS

单对NameNode最大文件数

1亿

-

单DataNode最大block数

500万

GC参数 -Xmx32G

单个DataNode磁盘最多block数

50万

-

单个目录下最多文件目录数(不含递归)

100万

配置参数:

dfs.namenode.fs-limits.max-directory-items

每个文件中可包含的最大块数

100万

配置参数:

dfs.namenode.fs-limits.max-blocks-per-file

文件路径最大长度

8000

配置参数:

dfs.namenode.fs-limits.max-component-length

最小块大小

1048576

配置参数:

dfs.namenode.fs-limits.min-block-size

单个DataNode允许的最少正常磁盘个数

1

配置参数:

dfs.datanode.failed.volumes.tolerated

Yarn

单NodeManager可分配的最大内存

物理内存*0.8

-

单NodeManager可分配的最大vcore

逻辑CPU*1.25~2

虚拟机环境请勿超分

HBase

HBase RegionServer数量

128

单个HBase服务的RegionServer实例数

单个RegionServer实例的Region数量

2000

每个RegionServer实例支持的最大Region数

单个RegionServe支持的活跃Region数量

200

每个RegionServer实例支持的最大活跃Region数

Hive

单Hive表支持的分区数量

1万

单个Hive表建议的最大分区个数

单表最大文件数量

100万

单个Hive表建议存储在HDFS上的最大文件个数

最大分区数量

300万

单个Hive服务所有表建议的最大分区个数

单HiveServer最大并发数

500

单个HiveServer实例支持的最大并发个数

Kafka

单Kafka集群节点数

256

-

Topic名称最大长度

200字节

Topic名称长度限制在200字节以内

Solr

单Solr集群实例数

200

Solr进程数

单SolrServer支持的Core数量

200

-

单Core支持的记录数

1~4亿

-

单SolrServer最大内存配置

32GB

采用G1的GC算法

单SolrServer内存和磁盘最优比例

1:20

-

Elasticsearch

单Elasticsearch集群实例数

512

-

单Elasticsearch集群支持的最大shard数

7万

单Elasticsearch集群最大数据量2PB

单Elasticsearch集群支持的最大索引数

5000

-

单Elasticsearch实例最大内存配置

32GB

采用G1的GC算法

单shard支持的记录数

1~4亿

-

单shard支持存储的数据量

20GB

-

单EsNode实例,最大shard数

200

-

单EsNode实例,最大存储量

5TB

-

单EsNode实例内存和磁盘最优比例

1:50

热数据最优比例1:50

冷数据最优比例1:100

ZooKeeper

每个ZooKeeper实例,单个IP最大连接数

2000

-

每个ZooKeeper实例,最大连接总数

20000

-

默认参数情况下,最大ZNode数

400000

-

单个ZNode大小

4M

-

Flume

单集群Flume最多实例数

32

Flume最大实例数

Presto

单集群计算实例数

1-32

-

所有计算实例的Worker总个数上限

400

-

单个计算实例的Coordinator/Worker的JVM下限

1GB

-

单个计算实例的Coordinator个数

1-3

-

单个计算实例的Worker个数

1-256

-

ClickHouse

单集群ClickHouse实例数

64

单集群ClickHouse支持的最大实例数

每个ClickHouseServer实例,支持的最大表数量

5000

-

每个ClickHouseServer实例,单个表支持的最大分区数

10000

-

Kudu

Master数量

一般3台即可

与复制因子数相同,为奇数

tablet server数

不超过100

限制:300

tablet数/tablet server(含副本)

1000+

限制:4000

tablet数/表/tablet server(含副本)

60+

限制:60

单台tablet server存储数据(含副本,压缩后)

8TB+

限制:10TB

单tablet存储数据(超过会性能下降、合并失败、启动慢)

10G

限制:50G

单tablet对应CPU核心数(不考虑副本,不考虑小表)

1

限制:多对1

tablet server内存

16G以上最佳

限制:不低于4G

 


相关文章

scylladb集群如何添加新数据中心

1、信息收集· 收集现有集群信息cat /etc/scylla/scylla.yaml | grep cluster_namecat /etc/scylla/scylla.yaml | grep se...

Linux 文件锁

1、背景Linux 系统定时任务正在执行时,可能会遇到上个周期的任务还没有执行完,这样便会造成相同的任务同一时间有过个任务进程在执行。如果任务有对互斥资源操作时,有可能产生死锁。2、用法参考flock...

HDFS业务类型与相关架构优化措施

低延迟业务计算密集型业务,低延迟业务,这一类业务通常是对大量NameNode文件目录访问为主的(权限判断,文件存在性,文件信息查询等对NameNode元数据操作为主的)。因此需要针对NameNode的...

使用clickhouse-copier迁移数据

说明clickhouse-copier是clickhouse官方提供的一个数据迁移工具。支持将clickhouse表从一个集群迁移到另外一个集群。使用clickhouse-copier有一些限制条件:...

MySQL性能优化(七)优化or查询的另一个例子

MySQL性能优化(七)优化or查询的另一个例子

优化or查询的另外一个例子。一个例子SELECT msg.msg_id, msg.content , … FROM msg   ...

更改默认StorageClass

为什么要更改默认StorageClass根据安装方式的不同,你的Kubernetes集群可以使用标记为默认值的现有StorageClass进行部署。然后,这个默认的StorageClass用于动态地为...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。