改进的大数据检索自适应性切换搜索算法

作者：吴雨晨; 刘萍萍^*; 徐江涛

来源：西安工业大学学报, 2019, 39(06): 688-695.

DOI：10.16185/j.jxatu.edu.cn.2019.06.011

• 大数据平台
• Hadoop
• 搜索引擎
• 自适应性切换搜索算法

针对搜索引擎搜索索引大小不同时的效率不一致问题,文中在Hadoop分布式计算平台上利用Map-Reduce框架搭建分布式的搜索引擎及查询子系统,生成一种改进的自适应性切换搜索算法,以索引文件实现了高效的检索,索引文件较小时将其直接存入内存,索引文件较大时建立二级索引并读取内存中的索引列表,进行分布式的查询,通过设置足够多的集群的节点数进行测试。测试结果表明:当索引大小达到1 000 MB,搜索时间由原始搜索算法的16.631 s缩短至7.259 s,文中方法对索引文件的搜索效率有显著提高。在索引文件更大的情况下,文中算法的优势也更明显,从而可以为网络论坛、网站以及其他用户提供高效的分布式搜索服务。

• 出版日期2019
• 单位西安工业大学