基于Hadoop的压力管道数据存储系统

作者：郭自海; 冯骁毅^*; 王伟华; 戴旗; 成新民

来源：湖州师范学院学报, 2023, 45(02): 66-78.

• 压力管道数据
• 数据存储系统
• Hadoop
• MapReduce
• HBase

为提高压力管道数据存储性能，改善数据存储效率，增强压力管道后期的可维护性，构建一种基于Hadoop的压力管道数据存储系统.该系统利用HDFS分布式存储框架建立压力管道数据的存储模型，采用MapReduce对压力管道海量数据进行分析和处理，从而完成数据写入HBase数据库的低延迟响应.在实验中，采用压力管道数据对MySQL、Oracle、Spark SQL、MongoDB和Rasdaman进行性能对比.结果表明，在相同数据量的情况下，系统运行时间更短，占用内存更少，其在存储压力管道海量数据方面具有较好的优越性.

• 出版日期2023
• 单位湖州师范学院