缺点模板  论文解读：基于动态词表的对话生成研究(2)

检索型VS生成型

另外，对于研究人员来说，检索型聊天机器人比较易于评测，借助 MAP、MRR、NDCG等传统信息检索方法即可完成。

检索型聊天机器人的缺点在于它过于依赖数据质量。如果你抓取的数据质量欠佳，那就很有可能前功尽弃。

生成模型的最大优势在于有一套通用code，可以忽略语言直接开跑。只要在某种语言上跑得较为顺利，就可以将其应用到所有语言上。

生成模型的另一个优点是，它非常容易实现多轮对话，并且能够偏向于某种情感。缺点模板假设我希望生成一句高兴的话，那么用生成模型会比检索模型更容易实现。

怎样提高生成的多样性

|论文解读：基于动态词表的对话生成研究" TITLE="干货|论文解读：基于动态词表的对话生成研究" />

|论文解读：基于动态词表的对话生成研究" TITLE="干货|论文解读：基于动态词表的对话生成研究" />

​第一种方法是将模型做得更复杂，比如上图这篇论文使用了 latent variable 来解决 boringresponses 这个问题。

|论文解读：基于动态词表的对话生成研究" TITLE="干货|论文解读：基于动态词表的对话生成研究" />

上图中的论文，则是在生成时将概率 bias到一些特定的主题词。假设某个词是主题词，我们就在生成过程中相应提高它被选中的概率。

|论文解读：基于动态词表的对话生成研究" TITLE="干货|论文解读：基于动态词表的对话生成研究" />

|论文解读：基于动态词表的对话生成研究" TITLE="干货|论文解读：基于动态词表的对话生成研究" />

​

第三种方法是基于增强学习的。增强学习有两种不同方法，一种基于策略，另一种基于价值。

其基本思路是，每生成一个词的同时，用搜索的方法去搜索其最后生成的完整句子，然后用 discriminator D对其进行评分，分值越高，意味着词的 reward 也越高。之后的思路则跟 SeqGAN 一模一样。

本文思路

|论文解读：基于动态词表的对话生成研究" TITLE="干货|论文解读：基于动态词表的对话生成研究" />

|论文解读：基于动态词表的对话生成研究" TITLE="干货|论文解读：基于动态词表的对话生成研究" />

​

详细来说，我们会给每一个 input 构建一个动态词典。这么做的目的是为了减少在线 decoding时间，同时对不相关词进行剔除。

|论文解读：基于动态词表的对话生成研究" TITLE="干货|论文解读：基于动态词表的对话生成研究" />

本文其实是在 Seq2Seq 的基础上加了一个动态词表，每给一个 input，我们会生成两类词。

第一类词的生成完全基于规则，即静态词典。静态词典主要包含一些功能词，功能词主要起润滑剂的作用，它们能让一句话的语法变得通畅。静态词典是基于词性构建的，主要包含代词和助词，名词和动词不包含在内。

有了这两个词之后，我们就可以给每个 input 构建一个词典。这个词典的规模会很小，很小的概念是指原来的词典规模是3 万，现在能缩减到 1000-2000 这个量级。

从矩阵乘法角度来看，如果能把一个矩阵从 N 乘以三万的维度，缩减到 N乘以一千的维度，就可以大大提升矩阵乘法的运算速度。

词预测模型

|论文解读：基于动态词表的对话生成研究" TITLE="干货|论文解读：基于动态词表的对话生成研究" />

如何采样负例非常关键。剔除掉一句话中的功能词，大概会剩下 10-15个正例的词。我们需要通过频率对负例进行采样，如果一个词经常出现，那么它被采样为负例的几率就会很大。