Advertisement

LLM论文笔记 4: Direct Preference Optimization: Your Language Model is Secretly a Reward Model

阅读量：
  • Arxiv日期：2023.5.29
  • 机构：Stanford University

关键词

  • 代码生成
  • RLHF
  • 偏好学习
  • DPO（提出）
  • 隐式奖励函数

核心结论

1. DPO在多个任务中表现与PPO相当 / 更优，不需要显式reward和RL

2. DPO目标中的动态权重是其保持稳定性的关键

3. DPO表现出对温度和超参数 β 的鲁棒性（PPO高度依赖超参数调优）

4. 参考策略

i_{ref}

初始化为SFT model能显著提高DPO性能

5. GPT-4可以作为自动评估偏好模型性能的有效工具

主要方法

传统的RLHF中：偏好数据 - > 拟合奖励模型 -> 适用奖励模型做RL（PPO）

显式的奖励模型具有潜在误导性 （偏差或高方差）

DPO ：不涉及奖励模型的训练及强化学习过程，并通过重参数化技术实现对语言模型的直接优化目标——即以提升与人类偏好的一致性为目标

Reparameterizing the reward function as a logarithmic proportion of the language model's strategy directly maps human preferences to the optimization of the strategy.

该模型遵循Bradley-Terry偏好模型（偏好概率与其奖励值差异呈指数比例关系）的目标函数

动态权重 梯度下降优化

总结：RLHF 和 DPO 的区别

注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文

全部评论 (0)

还没有任何评论哟~

相关文章推荐

LLM论文笔记 4: Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Arxiv日期：2023.5.29 机构：StanfordUniversity 关键词 代码生成 RLHF 偏好学习 DPO（提出） 隐式奖励函数 核心结论 1\.DPO在多个任务中表现与PPO相当/...

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

DPO直接偏好优化：你的语言模型实际上是一个奖励模型 前言知识储备 什么是用户偏好数据 目的：用于指导模型行为，使其输出更符合特定用户或者用户群体期望和喜好的信息。 用户偏好数据通常反映了用户对特定内...

【论文速读】《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》

《DirectPreferenceOptimization:YourLanguageModelisSecretlyaRewardModel》，就是著名的DPO 论文链接：https://arxiv.o...

【论文阅读】理解DPO，《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》

前几日，大概阅读了《DirectPreferenceOptimization:YourLanguageModelisSecretlyaRewardModel》这篇论文，再来仔细阅读一下，整个推导还是很...

[DPO] 简单有效的后训练方法 Direct Preference Optimization,Your Language Model is Secretly a Reward Model

<https://arxiv.org/abs/2305.18290 DirectPreferenceOptimizationDPO是一种无需强化学习的新方法，用于从人类偏好中直接训练语言模型。

Diffusion model alignment using direct preference optimization

https://github.com/huggingface/diffusers/blob/main/examples/researchprojects/diffusiondpo/README.mdh...

Strengthening Multimodal Large Language Model with Bootstrapped Preference Optimization

本文是LLM系列文章，针对《StrengtheningMultimodalLargeLanguageModelwithBootstrappedPreferenceOptimization》的翻译。

a neural probabilistic language model 论文笔记

原文见：https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf 统计语言模型 首先统计语言模型的学习目标本质上都是一种语言的单词序列的联...

【Preference Learning】Reasoning with Language Model is Planning with World Model

arxiv:<https://arxiv.org/abs/2305.14992 问题背景：当前LLM推理受到几个关键因素的限制： （1）LLM缺乏世界模型（一种人类就有的对环境的心理表征，可以模拟行动...

[论文笔记] [2003] A Neural Probabilistic Language Model

图灵奖获得者Bengio03年的论文，虽然年代已经比较“久远”，但意义非凡。它的贡献在于提出了神经网络语言模型以及这个模型同时能学习词向量（wordembedding），这为后来深度学习在解决NLP问...