年轻人起来冲

对 Word 2 Vec 的 skip-gram 的改进，主要是通过构造树层次的输出，表示多层 softmax 的问题，减少了输出数量

提出 CBOW、Skip-gram 两种 word embedding 训练模型，是词嵌入的经典模型

构建词向量矩阵，然后使用 2 D 卷积学习其特征，对句子进行分类学习

利用训练好的 word embedding 完成词性标注（POS）、分块（短语识别 CHUNK）、命名实体识别（NER）和语义角色标注（SRL）

在 seq 2 seq 的基础上，引入注意力机制

分别借鉴 word 2 vec 的 N-gram、BOW 构建，构建了 PV-DM、PV-DBOW 两种段落向量的学习模型

创新性提出可训练的词向量，为后续词向量发展提供基础

使用两级的 seq 2 seq，实现对文档的分类

类似 word 2 vec，GloVe 也是一种词向量的训练方式，但是不同于 word 2 vec 只使用一个 windows 内的上下文生成词向量，GloVe
通过拟合共现矩阵的概率比进行网络学习，使用了全局统计信息，所以语义效果更佳

FastText 具有 2 个用途，一是训练词向量，二是实现对文本的分类。两个用途都是基于基于 CBOW 的方式完成，即首先将输入的词向量或者 n-gram
相加，然后输入神经网络训练