大数据环境下的电子商务商品实体同一性识别

作者：胡亚慧; 李石君; 余伟; 杨莎; 甘琳; 王凯; 方其庆

来源：计算机研究与发展, 2015, 52(08): 1794-1805.

• Web大数据
• 电子商务
• 层次概率模型
• 商品
• Hadoop

怎样从多源异构的、自治独立的、多样化的、不一致的电子商务数据中找出同一商品实体是当前面临的主要挑战.通过分析不同平台的数据特征,首先建立基于商品属性?值的索引模型,构造商品属性-值的全局模式图并进行模式集成,形成模式统一、质量高效的商品信息数据;而后基于层次概率模型对商品的同一性进行多层相似度量;最终完成商品实体识别,并归一化输出满足同一性的商品集和关联属性并进行排序.基于Hadoop平台对3个B2C电子商务数据源中的商品进行了实验,并与传统方法和产品进行了比较,实验结果证明了本框架的可行性、精确性和高效性.

• 出版日期2015
• 单位中国人民解放军空军预警学院; 汉口学院