HDFS分层存储(一)

耀灵2年前技术文章763

1、介绍

Hadoop分布式文件系统支持在HDFS中的各种存储类型。现在,您可以为DataNode数据目录指定不同的存储类型,这样可以根据数据使用频率优化数据使用并降低成本。例如需要频繁使用的数据,可以存储在SSD中,而归档的数据可以存放在相对便宜的存储介质中。

集群中的每个DataNode都配置有一组数据目录,您可以为每个数据目录配置一个存储类型。存储策略指示在存储文件或目录时要使用的存储类型。常见使用不同存储类型的原因包括:

1.数据集具有时间局部性(temporal locality),比如时间序列数据。最新数据最初可以加载到SSD中以提高性能,然后随着时间的推移迁移到普通磁盘。

2.您需要将冷数据移动到更密集的归档存储,因为这些数据很少访问并且归档存储设备更便宜。这可以通过简单的老化策略来完成,比如将超过六个月的数据移动到归档存储。

1.1存储类型

存储类型标识底层存储介质。HDFS支持以下存储类型:

  • ARCHIVE - 归档存储用于非常密集的存储,主要用于很少访问的数据。这种存储类型比普通硬盘每TB的成本会更便宜。

  • DISK - 硬盘驱动器相对便宜,并提供顺序I/O性能。这是默认存储类型。

  • SSD - 固态驱动器(Solid state drives)对于存储热数据和I/O密集型应用程序非常有用。

  • RAM_DISK  - 这种特殊的内存存储类型用于加速低持久性的单副本写入。

添加DataNode数据目录时,可以通过在路径中添加存储类型前缀来指定它使用的存储类型,用括号括起来。如果未指定存储类型,则假定为DISK。

1.2存储策略

存储策略包含描述要使用的存储类型的信息。如果主要类型空间不足或者超出配额,此策略还会定义回退存储类型。如果目标存储类型不可用,HDFS会尝试将副本放在默认存储类型上。

每个存储策略都包含策略ID,策略名称,存储类型列表,用于文件创建的回退存储类型列表以及用于复制的回退存储类型列表。

HDFS有六个预配置的存储策略。

  • Hot - 所有副本都存储在DISK上。

  • Cold - 所有副本都存储在ARCHIVE上。

  • Warm - 一个副本存储在DISK上,其他副本存储在ARCHIVE上。

  • All_SSD - 所有副本都存储在SSD上。

  • One_SSD - 一个副本存储在SSD上,其他副本存储在DISK上。

  • Lazy_Persist - 将副本写入RAM_DISK,然后缓慢的持久化到DISK。

2、设置HDFS存储策略

1.确保hdfs-site.xml中的配置dfs.storage.policy.enabled没有被修改,默认值为true。

2.通过在目录路径开头的括号中添加存储类型,为每个不是标准磁盘的DataNode数据目录指定存储类型。例如:

[SSD]/data/dfs/dn1
[DISK]/data1/dfs/dn2
[ARCHIVE]/data2/dfs/dn3

3.在任何HDFS主机上打开终端会话。对要设置存储策略的每个路径运行以下hdfs命令:

$ hdfs storagepolicies -setStoragePolicy -path <path> -policy <policy>
path_to_file_or_directory -policy policy_name

4.  要根据当前存储策略将数据移动到适当的存储,需要使用mover命令。使用mover -h获取可用选项列表。要一次迁移所有数据(这可能需要很长时间),您可以将路径设置为/。

hdfs mover -p <path>

3、管理HDFS存储策略

1.  要获取DataNode上特定文件或目录的存储策略,请使用以下命令:

hdfs storagepolicies -getStoragePolicy -path <path>path_to_policy

2.  要列出一台DataNode上的所有策略,可以使用以下命令:

[root@hd3 keytab]# hdfs storagepolicies -listPolicies
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hadoop-3.2.4/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/apache-tez-0.10.2-bin/lib/slf4j-reload4j-1.7.36.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Reload4jLoggerFactory]
Block Storage Policies:
	BlockStoragePolicy{PROVIDED:1, storageTypes=[PROVIDED, DISK], creationFallbacks=[PROVIDED, DISK], replicationFallbacks=[PROVIDED, DISK]}
	BlockStoragePolicy{COLD:2, storageTypes=[ARCHIVE], creationFallbacks=[], replicationFallbacks=[]}
	BlockStoragePolicy{WARM:5, storageTypes=[DISK, ARCHIVE], creationFallbacks=[DISK, ARCHIVE], replicationFallbacks=[DISK, ARCHIVE]}
	BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}
	BlockStoragePolicy{ONE_SSD:10, storageTypes=[SSD, DISK], creationFallbacks=[SSD, DISK], replicationFallbacks=[SSD, DISK]}
	BlockStoragePolicy{ALL_SSD:12, storageTypes=[SSD], creationFallbacks=[DISK], replicationFallbacks=[DISK]}
	BlockStoragePolicy{LAZY_PERSIST:15, storageTypes=[RAM_DISK, DISK], creationFallbacks=[DISK], replicationFallbacks=[DISK]}


相关文章

百万并发下的nginx优化

百万并发下的nginx优化

百万并发下的nginx优化之道一、nginx地址重写1、nginx地址重写(rewrite)介绍nginx地址重写的主要功能是实现URL地址的重定向。服务器获得一个来访的URL请求,然后改写成服务器可...

oracle gi安装报错PRCR-1079 : Failed to start resource ora.cvu

安装gi执行root.sh报错:PRCR-1079 : Failed to start resource ora.cvu安装gi执行root.sh报错:PRCC-1014 : LISTENER_SCA...

trino容器对接alluxio(四)

trino容器对接alluxio(四)

前提:本文是基于已经部署了trino容器和 集群中部署了alluxio组件的基础上,进行的trino与alluxio的组件对接,alluxio已经开启了高可用模式。本文的冒烟测试是在trino对接ld...

MongoDB创建索引

一、后台创建索引默认情况下,当我们对一个比较热点的集合创建索引时,直到索引创建完毕,该集合都是无法读写的。1、后台创建索引语法db.collection.createIndex( { filed: 1...

容器引擎Podman常用命令浅析

容器引擎Podman常用命令浅析

Podman简介Podman 是一个开源的无守护进程的容器引擎,用于在Linux系统上开发、管理和运行OCI容器。容器既可以以root身份运行,也可以在无root模式下运行。Podman 提供与 Do...

win内存使用率过高但是资源监视器查看不到进程,排查思路

win内存使用率过高但是资源监视器查看不到进程,排查思路

问题现象:服务器:某云服务器 内存使用率持续打高,但是通过任务管理器查不到占用内存很高的进程排查步骤:1、通过任务管理器分析核查目标主机的内存使用趋势情况,近7天内存使用情况如下:通过任务管理器排查内...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。