Scratch
利用训练好的 word embedding 完成词性标注(POS)、分块(短语识别 CHUNK)、命名实体识别(NER)和语义角色标注(SRL)
利用训练好的 word embedding 完成词性标注(POS)、分块(短语识别 CHUNK)、命名实体识别(NER)和语义角色标注(SRL)
在 seq 2 seq 的基础上,引入注意力机制
分别借鉴 word 2 vec 的 N-gram、BOW 构建,构建了 PV-DM、PV-DBOW 两种段落向量的学习模型
OTA 的目的是为了更好分配目标检测正样本
类似 word 2 vec,GloVe 也是一种词向量的训练方式,但是不同于 word 2 vec 只使用一个 windows 内的上下文生成词向量,GloVe
通过拟合共现矩阵的概率比进行网络学习,使用了全局统计信息,所以语义效果更佳
FastText 具有 2 个用途,一是训练词向量,二是实现对文本的分类。两个用途都是基于基于 CBOW 的方式完成,即首先将输入的词向量或者 n-gram
相加,然后输入神经网络训练