HDFS分层存储(一)

耀灵2年前技术文章774

1、介绍

Hadoop分布式文件系统支持在HDFS中的各种存储类型。现在,您可以为DataNode数据目录指定不同的存储类型,这样可以根据数据使用频率优化数据使用并降低成本。例如需要频繁使用的数据,可以存储在SSD中,而归档的数据可以存放在相对便宜的存储介质中。

集群中的每个DataNode都配置有一组数据目录,您可以为每个数据目录配置一个存储类型。存储策略指示在存储文件或目录时要使用的存储类型。常见使用不同存储类型的原因包括:

1.数据集具有时间局部性(temporal locality),比如时间序列数据。最新数据最初可以加载到SSD中以提高性能,然后随着时间的推移迁移到普通磁盘。

2.您需要将冷数据移动到更密集的归档存储,因为这些数据很少访问并且归档存储设备更便宜。这可以通过简单的老化策略来完成,比如将超过六个月的数据移动到归档存储。

1.1存储类型

存储类型标识底层存储介质。HDFS支持以下存储类型:

  • ARCHIVE - 归档存储用于非常密集的存储,主要用于很少访问的数据。这种存储类型比普通硬盘每TB的成本会更便宜。

  • DISK - 硬盘驱动器相对便宜,并提供顺序I/O性能。这是默认存储类型。

  • SSD - 固态驱动器(Solid state drives)对于存储热数据和I/O密集型应用程序非常有用。

  • RAM_DISK  - 这种特殊的内存存储类型用于加速低持久性的单副本写入。

添加DataNode数据目录时,可以通过在路径中添加存储类型前缀来指定它使用的存储类型,用括号括起来。如果未指定存储类型,则假定为DISK。

1.2存储策略

存储策略包含描述要使用的存储类型的信息。如果主要类型空间不足或者超出配额,此策略还会定义回退存储类型。如果目标存储类型不可用,HDFS会尝试将副本放在默认存储类型上。

每个存储策略都包含策略ID,策略名称,存储类型列表,用于文件创建的回退存储类型列表以及用于复制的回退存储类型列表。

HDFS有六个预配置的存储策略。

  • Hot - 所有副本都存储在DISK上。

  • Cold - 所有副本都存储在ARCHIVE上。

  • Warm - 一个副本存储在DISK上,其他副本存储在ARCHIVE上。

  • All_SSD - 所有副本都存储在SSD上。

  • One_SSD - 一个副本存储在SSD上,其他副本存储在DISK上。

  • Lazy_Persist - 将副本写入RAM_DISK,然后缓慢的持久化到DISK。

2、设置HDFS存储策略

1.确保hdfs-site.xml中的配置dfs.storage.policy.enabled没有被修改,默认值为true。

2.通过在目录路径开头的括号中添加存储类型,为每个不是标准磁盘的DataNode数据目录指定存储类型。例如:

[SSD]/data/dfs/dn1
[DISK]/data1/dfs/dn2
[ARCHIVE]/data2/dfs/dn3

3.在任何HDFS主机上打开终端会话。对要设置存储策略的每个路径运行以下hdfs命令:

$ hdfs storagepolicies -setStoragePolicy -path <path> -policy <policy>
path_to_file_or_directory -policy policy_name

4.  要根据当前存储策略将数据移动到适当的存储,需要使用mover命令。使用mover -h获取可用选项列表。要一次迁移所有数据(这可能需要很长时间),您可以将路径设置为/。

hdfs mover -p <path>

3、管理HDFS存储策略

1.  要获取DataNode上特定文件或目录的存储策略,请使用以下命令:

hdfs storagepolicies -getStoragePolicy -path <path>path_to_policy

2.  要列出一台DataNode上的所有策略,可以使用以下命令:

[root@hd3 keytab]# hdfs storagepolicies -listPolicies
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hadoop-3.2.4/share/hadoop/common/lib/slf4j-reload4j-1.7.35.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/apache-tez-0.10.2-bin/lib/slf4j-reload4j-1.7.36.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Reload4jLoggerFactory]
Block Storage Policies:
	BlockStoragePolicy{PROVIDED:1, storageTypes=[PROVIDED, DISK], creationFallbacks=[PROVIDED, DISK], replicationFallbacks=[PROVIDED, DISK]}
	BlockStoragePolicy{COLD:2, storageTypes=[ARCHIVE], creationFallbacks=[], replicationFallbacks=[]}
	BlockStoragePolicy{WARM:5, storageTypes=[DISK, ARCHIVE], creationFallbacks=[DISK, ARCHIVE], replicationFallbacks=[DISK, ARCHIVE]}
	BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}
	BlockStoragePolicy{ONE_SSD:10, storageTypes=[SSD, DISK], creationFallbacks=[SSD, DISK], replicationFallbacks=[SSD, DISK]}
	BlockStoragePolicy{ALL_SSD:12, storageTypes=[SSD], creationFallbacks=[DISK], replicationFallbacks=[DISK]}
	BlockStoragePolicy{LAZY_PERSIST:15, storageTypes=[RAM_DISK, DISK], creationFallbacks=[DISK], replicationFallbacks=[DISK]}


相关文章

ranger_audits更换审计日志保留时间

ranger_audits更换审计日志保留时间

本次测试集群为:hdp: 3.1.5.0-152Infra Solr: 0.1.0Ranger: 1.2.0.3.1修改Solr 的中ranger_audits 数据保留时长HDP、CDP中Range...

MySQL 8.0 新特性:Instant Add Column

MySQL 8.0 新特性:Instant Add Column

一、前言MySQL 8.0 支持 “快速加列” 功能,既添加字段时可以支持 “INSTANT” 快速完成。通过只修改数据字典的方法来实现大表快速加列,避免之前加列操作必须做的数据拷贝,从而大幅缩小大表...

Mac安装Hadoop文档-保姆级操作(二)

Mac安装Hadoop文档-保姆级操作(二)

配置hadoop进入hadoop的目录:cd /opt/homebrew/Cellar/hadoop/3.3.6/libexec/etc/hadoop修改core-site.xml<config...

trino开启https

trino开启https

一、生成https证书(所用到的openssl和keytool命令都是linux自带的)配置https证书:(1)创建目录[hdfs@hadoop01 hadoop]# mkdir -p /data/...

Hive删除外部表

Hive删除外部表

删除外部表操作例:1.首先我们创建一个外部表create EXTERNAL table if not exists mgtest(id int, name string)row format deli...

慢查询导致ES CPU资源打满

慢查询导致ES CPU资源打满

o   一、问题背景§  1.1 集群背景信息§  1.2 收到告警o   二、处理过程§  2.1 查看监控§  2.2 登录kibana查看§  2.3 登录服务器使用命令查看·       2....

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。