面向大规模集群的并行I/O用户层配置优化策略

作者：田鸿运; 武林平; 董勇; 景翠萍; 罗红兵; 莫则尧^*

来源：国防科技大学学报, 2020, 42(02): 23-30.

• 并行I/O优化策略
• Lustre文件系统
• 大规模集群
• 传输数据量
• 条带数

影响应用I/O性能的关键因素主要有三个层次:包括应用的I/O接口实现、体系结构和文件系统组件的性能以及应用的I/O参数配置。从应用I/O配置优化的视角,分析了大规模集群并行I/O的配置调优空间,在此基础上,给出了一套大规模集群并行I/O性能特征测试分析方法。基于该方法,在某国产超级计算集群上开展了一系列I/O测试分析来刻画系统的I/O性能特征,进而指导并行应用程序的I/O配置优化。基于优化后的配置参数,在两类典型的并行I/O场景中,针对某类生产应用程序,8192进程下的重启动数据写操作时间下降了15%,4096核的程序作业加载时间从10 min缩短到了5 s。

• 出版日期2020
• 单位国防科技大学; 北京应用物理与计算数学研究所