HDFS业务类型与相关架构优化措施

南墨2年前技术文章813

低延迟业务

计算密集型业务,低延迟业务,这一类业务通常是对大量NameNode文件目录访问为主的(权限判断,文件存在性,文件信息查询等对NameNode元数据操作为主的)。因此需要针对NameNode的处理能力进行调整。主要可以采取以下措施:

  • 通过新增NameNode引入Federation的方案实现,将高优先级的业务部署在单独的NameNode,以解决资源使用的问题。

  • 调整日志级别,关闭HDFS的审计日志级别和运行日志级别修改为WARN级别(一般开源集群审计日志可能未配置)

  • 硬件能力提升:

        提升NameNode节点的CPU主频。

        更换DataNode的磁盘为高性能磁盘或者SSD。

  • 减少网络带宽延迟。

高吞吐业务

高吞吐量业务,这一类业务主要是大文件操作,对DataNode的IO需求更高。主要可以采取以下措施:

  • 扩容DataNode节点数量。提高集群的吞吐量。

  • 扩容DataNode节点的磁盘数量,以提高单DataNode的I/O能力。

  • 更换DataNode挂载的磁盘类型,使用更高性能的磁盘或者SSD。

实时业务

实时数据需要HDFS能尽快响应业务请求,对节点性能有较高的要求。为保证业务实时性,一般采用配置高性能的节点,并将业务隔离的方案。主要可以采取以下措施:

  • 采用分级存储,将存储节点按性能分组,由高性能节点为其提供业务。

  • 数据节点采用SSD存储介质。

  • 采用Federation特性,隔离NameNode以及数据节点。

频繁访问数据

频繁访问的数据一般指写入完成后,需要重复读取,偶尔有修改变化的数据。

对于这一类数据,主要可以采取以下措施:

  • 使用Central Cache特性,将对应的文件缓存到内存。(在节点宕机时存在数据丢失风险)

  • 使用分级存储特性,将对应文件存储到SSD介质。

临时数据

临时数据一般是指在写入完成后,立即进行业务处理,处理完成后删除的数据。

对于这一类数据,主要可以采取以下措施:

  • 使用分级存储,将数据分布存储到RAM盘。

  • 将副本数设置为2个,减少系统存储、网络压力。

归档数据

归档数据是指数据存储到集群后,一段时间不再访问的数据:

对于这一类数据,主要可以采取以下措施:

  • 可以设置冷数据归档目录为I/O性能较慢的存储介质上,也可以减少副本数等。

  • 存储数据时,采用HAR格式存储。

  • 使用分级存储特性,将这些数据存储到低性能节点上。


相关文章

apache Kyuubi部署及对接hive

apache Kyuubi部署及对接hive

1、背景客户重度使用spark sql,但是使用spark thriftserver存在各种各样的问题,我们选择使用kyuubi来替代spark thriftserver的使用2、安装包下载下载地址:...

zabbix监控导出生产环境数据

zabbix监控导出生产环境数据

问题需求导出zabbix数据库中 某个主机组下的端口监控 、 URL监控信息处理过程由于数据量较大,手动统计比较费时,因此考虑通过直接从数据库取出相关数据查找想关联的表,找到各监控项位于哪个数据库表内...

MySQL主从复制配置

一、master服务器配置1)用户添加及授权在master 服务器授权一个账户,拥有slave权限12mysql> GRANT REPLICATION SLAVE,REPLICATION CLI...

开源大数据集群部署(三)集群mysql数据库部署

开源大数据集群部署(三)集群mysql数据库部署

1、mysql部署在hd1.dtstack.com主机root权限下安装配置Ø  在安装目录/root/bigdata目录下解压包tar -xvJf mysql-8.0.31-linux-glibc2...

datahub安装部署

datahub安装部署

背景:由于某客户需要建立sparksql的血缘关系,于是乎提出datahub,由于网上关于datahub资料较少,因此这里做以记录datahub作为一个元数据管理平台,他可以对数据资产进行有效的组织,...

mysql表结构对比工具介绍

mysql表结构对比工具介绍

一、AmpNmp.DatabaseCompare工具1、工具特点:优点:比较两个数据库全部表结构的差异,包括表名、存储引擎、字符集、注释的不同,以及每张表中的字段名、数据类型、字符集、默认值、注释的不...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。