年轻人起来冲

借助 skip-gram+seq 2 seq 的思想，学习 "句向量"，通过中心句子，预测上下文句子。首先使用编码器提取中心语句的特征，然后使用两个编码器分别预测上文句子和下文句子。

场景：

• 性能比较强的 ubuntu 主机位于内网，虽然它可以访问外网，但是没有外网地址，无法直接远程
• 性能较弱的个人电脑位于公网中
• 通过花生壳穿透内网，让个人电脑直接远程 ubuntu

为解决一词多义的问题，ELMO 设定词汇的嵌入不是固定的，而是在不同语境中动态变化的，输入语境及词汇，得到词汇的词向量

在 seq 2 seq 的基础上引入注意力机制

seq 2 seq 由于使用 rnn，不能并行计算，本文通过 CNN 替代 RNN 学习序列数据，使得模型可以并行学习

分词方法是构建词向量的第一步，后续是获得所有分词的向量表示

一个 3 层的神经网络，使用 one-hot 的方式输入，然后通过权重矩阵学习词的向量表示。学习方式分为 CBOW 和
Skip-Gram，从直观上理解，CBOW 是给定上下文，来预测当前值，而 Skip-Gram 是给定当前值来预测上下文

对 Word 2 Vec 的 skip-gram 的改进，主要是通过构造树层次的输出，表示多层 softmax 的问题，减少了输出数量

提出 CBOW、Skip-gram 两种 word embedding 训练模型，是词嵌入的经典模型

构建词向量矩阵，然后使用 2 D 卷积学习其特征，对句子进行分类学习