FEMA:基于HDFS的小文件读写优化算法

作者：张鑫; 谭海

来源：电脑知识与技术, 2019, 15(06): 232-233.

DOI：10.14004/j.cnki.ckt.2019.0686

• HDFS
• 小文件
• FMEA
• 文件合并
• 文件名编码

HDFS(Hadoop Distributed File System)是目前面向云计算应用最为广泛的分布式文件系统,然而其面对海量小文件存储场景时其存在Namenode开销大,读写效率不理想等问题。基于此提出一种HDFS小文件读写优化算法FMEA(File Merg?ing and name-Encoding Algorithm)。考虑文件存储的目录结构将小文件合并为大文件存储,分配块内file id,与Namenode分配的block id构成二元组唯一表示该文件,编码生成逻辑文件名并建立块内索引,提高小文件访问效率。实验结果表明,FMEA有效地降低了Namenode的内存开销,提高了小文件的读写效率,此方案适用于具有海量小文件的云存储系统。

• 出版日期2019
• 单位东华理工大学