Kudu节点数规划

南墨2年前技术文章719

一、概述

由于Kudu是Hadoop生态的一部分(虽然它不依赖于Hadoop生态系统),因此大多数实际应用场景需要的不仅仅是Kudu;为了输入数据,可能需要Kafka、StreamSets或Spark Streaming;对于机器学习和数据处理,可能需要Spark;对于交互式SQL,我们也肯定想要Impala。实际上,Kudu和Hadoop生态系统紧密低集成正是其优势之一,因此我们很少单独使用Kudu,所以,在讨论Kudu集群规划时,一般不仅仅是考虑到Kudu。

举个例子:Kudu经常与Impala一起使用,Impala依赖Hive,而Hive依赖于HDFS,这就意味着我们将Kudu与Impala放在一起使用,而且还要配上Hive和HDFS。根据以往经验:Kudu和HDFS很容易和谐共存,甚至可以共享磁盘,但是我们要正确配置它们。

二、资源规划

1、Master

Master服务器负责存储元数据信息(客户端应用程序定位数据的位置时需要用到它们),一般不会频繁操作master,可以在小服务器(硬件)上安装;一般3台即可(与复制因子数相同,为奇数)

2、Tablet

Tablet的作用是执行所有与数据相关的操作:存储、访问、编码、压缩、compaction和复制,且tablet还负责将数据复制到其他tablet服务器上,工作较为繁重,是我们需要可扩展性的地方。

规划建议与限制

选项

最佳性能(建议值)

限制

tablet server数

不超过100

300+

tablet数/tablet server(含副本)

1000+

4000+

tablet数/表/tablet server(含副本)

60+

60+

单台tablet server存储数据(含副本,压缩后)

8TB+

10TB+

单tablet存储数据(超过会性能下降、合并失败、启动慢)

10G

50G

单tablet对应CPU核心数(不考虑副本,不考虑小表)

1

多对1

tablet server内存

16G以上最佳

不低于4G

三、集群规模

1、节点数

Master 必须是奇数,3或者5台为佳,7台就多

Tablet Server 取决于数据规模,但最多不超过1000台的规模,以300以内性能最佳

2、tserver服务器数量 公式

t=d/(k*(1-p))*r

t

tserver数量

d

以Parquet格式存储的数据总量(可以将一段时间的数据以Parquet格式存储到HDFS上做预估)

k

每个Tablet Server的最大磁盘容量(建议8T)

p

余量,一般0.25

r

tablet副本因子,一般为3

eg.

d=120T
K=8T
p=25%
r=3
t=(120 / (8 * (1 - 0.25)))*3 = 60

四、内存和CPU

角色

内存

CPU

说明

Master

16G

8C

Master不保存用户数据,对于内存,CPU占用资源bitserver要少很多

Tablet Server

64G

2*12C

考虑跟Impala混合部署场景(有datanode和nodemanager会更大)

五、磁盘

Kudu针对SSD盘做了特别优化,推荐使用SSD

角色

OS

WAL

metadata

data

master

2*512 SSD RAID 1

共享OS

共享OS

共享OS

tablet server

2*512 SSD RAID 1

12TM.2接口(NVMe协议)SSD

共享WAL

7*2TSSD,用于存储数据

注:

1)这里NVMe是一种非常快速的PCIe闪存适配器(考虑到负载,最好为WAL规划配置快速SSD NVMe),特别是对于大型生产环境,不建议将WAL设置到专门的HDD上,这样会影响写入性能和故障的恢复时间。

性能对比:

存储介质

IOPS

吞吐率(MB/s)

HDD

55~180

50~180

SSD

3000~40000

300~2000(SAS最大能达到2812MB/s)

NVMe PCIe闪存

150000~1000000以上

最大为6400(6.4GB/s)

2)WAL、metadata、data 配置目录
–fs_wal_dir
–fs_metadata_dir
–fs_data_dirs

3)对于Kudu上的用户数据,在服务器上提供尽可能多的HDD(SSD更好!);另外对于已经部署了HDFS的集群,与Kudu公用节点时,不必专门分开磁盘,将他们共用数据盘即可。

六、网卡

Master和Tablet Server和 2块万兆网卡绑定

参考:

https://kudu.apache.org/docs/known_issues.html


相关文章

CDH 5.16.2原地升级到CDP7.1.7

CDH 5.16.2原地升级到CDP7.1.7

1 升级Cloudera管理器1.1 升级Cloudera管理器准备1.1.1.1 关闭cloudera上托管的组件1.1.1.2 关闭Cloudera management service服务检查o...

HBase 的 BulkLoad 机制

HBase 的 BulkLoad 机制

1.概述在实际生产环境中,有这样一种场景:用户数据位于HDFS中,业务需要定期将这部分海量数据导入 HBase 系统,以执行随机查询更新操作。这种场景如果调用写入 API 进行处理,极有可能会给 Re...

Hbase 存储相关知识

1.Hbase的写流程Client 写入-> 存入MemStore,一直到MemStore 满-> Flush 成一个StoreFile,直至增长到一定阈值-> 触发Compact...

k8s service IP不能ping通?

k8s service IP不能ping通?

1、先看下serviceIP是怎么来的?serviceIP是serviceController生成的,参数--service-cluster-ip-range string会配置在controller...

Debezium部署以及同步之DB2数据到Kafka的同步

Debezium部署以及同步之DB2数据到Kafka的同步

因为Debezium依赖于kafka之上,所以我们先部署kafka和zookeeper(忽略)。1 环境介绍Debezium1.9版本 Db2 11.5版本  附官网:http...

切换不同的网络访问同一个业务报错"network error"

切换不同的网络访问同一个业务报错"network error"

问题现象:业务:xxx,使用谷歌浏览器登陆之后,访问“商品档案”模块,会提示“network error”报错内容,但是切换到其他浏览器测试是可以正常访问的,同时,在使用谷歌浏览器访问的情况下,如果切...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。