hadoop纠删码

纠删码是CDH6/Hadop3引入的新功能，之前的HDFS都是副本方式容错，默认情况下，一个文件有三个副本，可以容忍任意2个副本（Datanode）不可用，是以牺牲空间的代价提供了数据的可用性，带来了2倍的冗余开销。例如1TB的数据，需要3TB的空间来进行存储。而纠删码可以在同等可用性的情况下，节省更多的空间。

以RS-6-3-1024k为例，6份原始数据，编码后生成3份校验数据，一共9份数据，只要最终有6份数据存在，就可以得到原始数据，它可以容忍任意3份数据不可用，而冗余的空间（3）只有原始空间（6）的0.5倍，只有副本方式（6*3-6=12）的1/4，因此，可以节约更多的空间成本。

对于RS-3-2-1024k来说，3份原始数据，编码后生成2分校验数据，一共5份数据，可以容忍任意2份数据不可用，冗余空间（2）只有原始空间67%，只有副本方式的（3*3-3=6）的1/3。可见RS-6-3-1024k比RS-3-2-1024k策略能节约更多空间。

1、CDH6 默认没有开启纠删码，需要在cloudera manager中进行设置，启用后需要重启HDFS服务。