科学计算双路并行I/O优化方法

作者：曹立强; 莫则尧; 沈卫超; 夏芳; 陈军

来源：计算机学报, 2015, 38(05): 1035-1043.

• 并行I/O
• 高层I/O库
• 性能优化
• 数据格式
• 双路并行I/O

科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/O方法可提高写性能8%13%,提高读性能89%到1.01倍.

• 出版日期2015
• 单位北京应用物理与计算数学研究所