大数据集群部署规划(二)硬件配置要求

南墨2个月前技术文章118

CPU(虚拟机建议配置*2)

    • X86服务器:

最低配置:双路4核Intel处理器。

推荐配置:双路8核Intel处理器。

    • ARM服务器:

双路32核ARM处理器

Bit-mode

    • 64位

内存(虚拟机不建议超分)

    • 物理内存不少于32GB

    • 大集群(100节点以上)推荐单节点128GB~512GB内存

网卡

    • GE光口bond

    • 大集群推荐10GE光口bond及以上配置

磁盘RAID配置

    • 操作系统盘:独占一个RAID组,且RAID组级别为RAID1

    • 元数据盘(nn、jn、zk、hive元数据所在磁盘,如共盘请确保磁盘安全稳定):独占一个RAID组,且RAID组级别为RAID1

    • 数据盘:配置RAID0或无RAID

    • 也可采用共享存储和分布式存储的方式减少存储压力

磁盘空间

    • 操作系统盘>100Gb

    • 元数据盘>100GB

    • 数据盘>200GB

磁盘类型

本地盘

SSD

即固态硬盘,具有较高的读写性能。但通常存储容量较小,单位存储成本比普通机械硬盘高。由于NVMe SSD盘不支持配置RAID1,建议配置OS盘或元数据盘时建议采用SAS SSD,建议元数据盘采用此种磁盘。

     当数据量处于TB级别以上时,推荐使用本地盘,磁盘直接挂载在计算节点上,性能高于云盘。本地盘不能选择磁盘数量,只能使用默认配置好的数量,数据也没有后端的备份机制,需要上层的软件来保证数据可靠性。

DISK(HDD

DISK即普通机械硬盘,包括SATA和SAS类型。是HDFS用于保存数据的主力存储类型。DISK是大数据平台当前主要使用的磁盘存储类型。对于速度要求高的可以使用SSD类型的磁盘。

例如:阿里云E-MapReduce HDFS数据量大于60 TB,建议采用本地盘实例(ECS.d1,ECS.d1NE)

云盘

SSD云盘

具备稳定的高随机读写性能、高可靠性的高性能云盘产品。

建议在I/O密集型应用、中小型关系数据库和NoSQL数据库等场景中使用。

     当业务数据量处于TB级别以下时,推荐使用云盘,云盘的IOPS和吞吐相比本地盘都会小些。

     磁盘不直接挂载在本地的计算节点上,而是通过网络访问远端的一个存储节点。每一份数据在后端都有两个实时备份,一共三份数据。当一份数据损坏时(磁盘损坏,不是业务上的破坏)

高效云盘

具备高性价比、中等随机读写性能、高可靠性的云盘产品。

建议在开发与测试业务和系统盘等场景中使用。例如:阿里云EMR,HDFS数据量小于60 TB,可以考虑高效云盘和SSD云盘。

ESSD云盘

基于新一代分布式块存储架构的超高性能云盘产品,结合25GE网络和RDMA技术,单盘可提供高达100万的随机读写能力和更低的单路时延能力。

建议在大型OLTP数据库、NoSQL数据库和ELK分布式日志等场景中使用。例如阿里云E-MapReduce默认使用ESSD云盘作为集群的系统盘。系统盘默认是一块。

性能对比:磁盘性能为SSD本地盘 > SSD云盘 > 本地盘 > 高效云盘。

注:关于云盘,这里参考的是阿里云的块存储:

https://help.aliyun.com/document_detail/63136.html


相关文章

 大数据集群监控配置操作指导(二)node_exporter+mysql_exporter部署

大数据集群监控配置操作指导(二)node_exporter+mysql_exporter部署

2.node_exporter监控集群服务器(所有集群服务器)wget https://github.com/prometheus/node_exporter/releases/download/v1...

xx客户大数据相关问题答疑

xx客户大数据相关问题答疑

1、官方发布的补丁是否可以在CDH5.X上patch?如果是cdh的包,需要在cdh官方给出相关补丁包,然后我们可以进行补丁操作。如果是开源的包,是无法进行补丁操作的,因为cdh会对开源有些细节点的适...

Clickhouse表引擎介绍

Clickhouse表引擎介绍

引擎分类ClickHouse表引擎一共分为四个系列,分别是Log、MergeTree、Integration、Special。其中包含了两种特殊的表引擎Replicated、Distributed,功...

慢查询导致ES CPU资源打满

慢查询导致ES CPU资源打满

o   一、问题背景§  1.1 集群背景信息§  1.2 收到告警o   二、处理过程§  2.1 查看监控§  2.2 登录kibana查看§  2.3 登录服务器使用命令查看·       2....

iotop-监控磁盘I/O

iotop-监控磁盘I/O

iotop概述iotop 是一个类似 top 的工具,用来显示实时的磁盘活动。Linux下的IO统计工具如iostat,nmon等大多数是只能统计到per设备的读写情况。iotop 监控 Linux...

CDP实操--配置RangerKMS 并基于Navigator Trustee Server存储KMS密钥

CDP实操--配置RangerKMS 并基于Navigator Trustee Server存储KMS密钥

1.1添加用于部署KMS的服务器到集群从集群host页面里添加两台服务器用于部署rangerkms选择kms-1和kms-2两台服务器等待parcel分发到新加服务器上并自动完成激活 等待host i...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。