论文阅读：Dual Supervised Learning for Natural Language Understanding and Generation
简介：
利用自然语言理解（NLU）和自然语言生成（NLG）的二元性，进行循环训练，实验证明这种训练方式能够提高任务的性能；
主要贡献点：
一.核心算法
The training strategy is based on the standard supervised learning and incorporates the probability duality constraint, so-called dual supervised learning；
1. 将目标推广到多目标优化问题，
2. 引入拉格朗日乘子加入到约束求解这类优化问题；** 这里约束公式我也没看懂,为什么是这样写，l（dualiyt）为什么是+--？**
二.数据分布估计方法
语义表示因为是离散的slot-value pairs， 采用masked Autoencoder的解释：
1）.slot-value pairs 不具备单一的定向关系，虽然是并行描述语义，但是只用slot-value pairs 这描述一句话的语义也不太合适；但是slot-value pairs 也不是独立的，在句子中也会跟一些独立的词相关；比如：French food would probably costs more.因此也要把这种情形纳入联合概率分布中；所以也要对slot-value pairs的依赖关系建模；所以这里采用了masked Autoencoder拟合边缘分布；
实验部分见论文，没有给出代码链接
其他记录:
1.典型的对话系统：
1).语音识别器，能将用户语音转换成文本；
2). 一个自然语言理解模块(NLU)，对域和相关意图进行分类，并填充槽值以形成语义框架;
3). 一种对话状态跟踪器(DST)，它预测多回合对话中的当前对话状态;
4). 给定当前状态，决定下一步系统行动的对话政策;
5). 自然语言生成器(NLG)，它输出给定输入语义框架的响应
2.对于常见的文本生产式任务decoder的理解： 语言建模只取前面的单词序列y<i，输出第一个单词yi在词汇空间上的概率分布。 因为自然语言具有内在的顺序结构 时间依赖性，因此用这种自回归性质来建模序列中单词的联合分布在逻辑上是合理的。