单词嵌入——自然语言的连续空间表示

作者：陈恩红; 邱思语; 许畅; 田飞; 刘铁岩

来源：数据采集与处理, 2014, (01): 19-29.

DOI：10.16337/j.1004-9037.2014.01.011

• 机器学习
• 自然语言
• 单词嵌入
• 文本处理 machine learning
• natural language
• word embedding
• text processing

单词嵌入是指运用机器学习的方法,将位于高维离散空间(维数为词典单词数目)中的每个单词映射到低维连续空间的实数向量的技术。在很多文本处理的任务中,单词嵌入提供了更好的语义级别的单词特征表示,从而为文本处理任务带来了诸多便利。同时,大数据时代海量的未标注文本数据,以及以深度学习为代表的机器学习技术的发展使高效的单词嵌入技术成为可能。本文将给出单词嵌入的定义以及实际意义,同时将综述目前单词嵌入技术的几种典型方法,包括基于神经网络的方法、基于受限玻尔兹曼机的方法以及基于单词与上下文共生矩阵分解的方法。本文将详细介绍不同模型的数学定义、物理意义以及训练方法,并给出他们之间的比较。

• 出版日期2014
• 单位南开大学; 微软亚洲研究院