面向股票交易分析场景的流式大数据系统测试框架

作者：史凌云; 郑莹莹; 谭励^*; 许利杰; 王伟; 魏峻

来源：计算机系统应用, 2020, 29(04): 76-83.

DOI：10.15888/j.cnki.csa.007345

• 流式大数据处理
• 系统性能
• 基准测试
• Apache Spark Streaming

分布式集群环境使得数据实时计算更为复杂,流式大数据处理系统的正确性难以保障.现有的大数据基准测试框架可以测试流式大数据处理系统的性能表现,但是普遍存在应用场景设计简单、评价指标不充分等不足.针对这一挑战,本文构造了一个面向股票交易场景的流式大数据基准测试框架,通过生成股票高频交易数据,测试系统在高流速场景下的延迟、吞吐量、GC时间、CPU资源等的性能表现.同时,通过横向测试验证流式大数据系统的扩展性.本文以Apache Spark Streaming为待测系统进行测试,实验结果表明,高流速场景下出现延迟增加、GC时间提高等性能下降问题,原因是系统输入速率的提高及并行度的增加.

• 出版日期2020
• 单位中国科学院软件研究所; 计算机科学国家重点实验室; 中国科学院大学; 北京工商大学