HDFS业务类型与相关架构优化措施

南墨2年前技术文章805

低延迟业务

计算密集型业务,低延迟业务,这一类业务通常是对大量NameNode文件目录访问为主的(权限判断,文件存在性,文件信息查询等对NameNode元数据操作为主的)。因此需要针对NameNode的处理能力进行调整。主要可以采取以下措施:

  • 通过新增NameNode引入Federation的方案实现,将高优先级的业务部署在单独的NameNode,以解决资源使用的问题。

  • 调整日志级别,关闭HDFS的审计日志级别和运行日志级别修改为WARN级别(一般开源集群审计日志可能未配置)

  • 硬件能力提升:

        提升NameNode节点的CPU主频。

        更换DataNode的磁盘为高性能磁盘或者SSD。

  • 减少网络带宽延迟。

高吞吐业务

高吞吐量业务,这一类业务主要是大文件操作,对DataNode的IO需求更高。主要可以采取以下措施:

  • 扩容DataNode节点数量。提高集群的吞吐量。

  • 扩容DataNode节点的磁盘数量,以提高单DataNode的I/O能力。

  • 更换DataNode挂载的磁盘类型,使用更高性能的磁盘或者SSD。

实时业务

实时数据需要HDFS能尽快响应业务请求,对节点性能有较高的要求。为保证业务实时性,一般采用配置高性能的节点,并将业务隔离的方案。主要可以采取以下措施:

  • 采用分级存储,将存储节点按性能分组,由高性能节点为其提供业务。

  • 数据节点采用SSD存储介质。

  • 采用Federation特性,隔离NameNode以及数据节点。

频繁访问数据

频繁访问的数据一般指写入完成后,需要重复读取,偶尔有修改变化的数据。

对于这一类数据,主要可以采取以下措施:

  • 使用Central Cache特性,将对应的文件缓存到内存。(在节点宕机时存在数据丢失风险)

  • 使用分级存储特性,将对应文件存储到SSD介质。

临时数据

临时数据一般是指在写入完成后,立即进行业务处理,处理完成后删除的数据。

对于这一类数据,主要可以采取以下措施:

  • 使用分级存储,将数据分布存储到RAM盘。

  • 将副本数设置为2个,减少系统存储、网络压力。

归档数据

归档数据是指数据存储到集群后,一段时间不再访问的数据:

对于这一类数据,主要可以采取以下措施:

  • 可以设置冷数据归档目录为I/O性能较慢的存储介质上,也可以减少副本数等。

  • 存储数据时,采用HAR格式存储。

  • 使用分级存储特性,将这些数据存储到低性能节点上。


相关文章

数仓主流架构简介之一

数仓主流架构简介之一

一、Lambda架构Apache Storm的创建者Nathan Marz于 2011 年开发,旨在解决大规模实时数据处理的挑战。Lambda数据架构提供了一个可扩展、容错且灵活的系统来处理大量数据。...

数据湖技术之iceberg(九)Spark与Iceberg整合写操作

数据湖技术之iceberg(九)Spark与Iceberg整合写操作

1. INSERT INTO"insert into"是向Iceberg表中插入数据,有两种语法形式:"INSERT INTO tbl VALUES (1,"z...

Flink-CDC部署及测试

Flink-CDC部署及测试

1、CDC简介CDC (Change Data Capture) ,在广义的概念上,只要能捕获数据变更的技术,都可以称为 CDC 。但通常我们说的CDC 技术主要面向数据库(包括常见的mysql,Or...

某客户k3s网络故障案例

某客户k3s网络故障案例

1、出现问题     在我们吃饭的过程中,小丫告诉我客户的系统出现问题了,我们赶快吃完饭回去帮忙排查。当我们回去的时候,被告知问题已经被修复了,但是问题根源没有找到。故障原因给出的是:  服务重启后对...

Elasticsearch如何使用内存

ES作为一个JAVA程序,其对内存的使用和管理依赖底层JVM。因而设置内存时需要遵从JAVA的普适原则,如-xmx和-xms设置为相同值等。在JVM的基础上,ES对内存的使用可按功能分为以下几大部分:...

PostgreSQL 索引管理

前言索引是关系型数据库离不开的话题,它是数据库中一种快速查询数据的方法。在 SQL 优化中,创建高性能的索引非常重要,本篇文章将对比 MySQL 介绍 PostgreSQL 的索引管理。1. 主键1....

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。