虚假新闻检测——Adapting Fake News Detection to the Era of Large Language Models

论文地址：https://arxiv.org/abs/2311.04917

1.概论

在这一领域，诸多研究致力于虚假新闻检测，但这些研究普遍面临两大挑战：首先，它们通常假设所有新闻文本均出自人类之手，却忽视了机器生成深度改写及真实新闻数量显著增加的现象；其次，它们倾向于将所有由机器生成的内容视为虚假信息，未能精确区分其真实性和欺骗性。因此，研究对各种场景下训练的假新闻探测器进行了深入分析，得出了以下关键结论：

用于训练人类撰写文章的探测器在识别机器生成的假新闻方面表现优异，然而这一优势并未在反向应用中显现。研究者（Su et al.，2023a）指出，受机器生成文本偏差影响的检测器，应在比测试集更低的机器生成新闻比率的数据集中进行训练。

2.方法

为了模拟人写内容和机器生成内容之间的动态变化，考虑三种实验设置：

• 人类遗产阶段：在这一阶段，全部真实新闻训练数据均由人类编撰，假新闻训练数据逐步引入机器生成内容，比例从零提升至100%。
• 过渡共存阶段：在此阶段，真实新闻的训练数据涵盖人类和机器生成内容，假新闻训练数据也同样包含由人类和机器生成的内容，这反映了新闻生成环境的实际变化。
• 机器主导阶段：在这一阶段，全部真实新闻训练数据均为机器生成，探索完全由机器控制的新闻生成未来的情形。

3.实验

（1）实验设计与方法 ：

• 数据集 ：本研究采用了两个主要数据集，即GossipCop++和PolitiFact++。这些数据集涵盖了机器仿写的真实新闻（MR）、机器生成的假新闻（MF）、人类编写的真实新闻（HR）和假新闻（HF）四种类型。
  • 模型和方法 ：本研究采用了基于Transformer架构的多种预训练语言模型，包括BERT、RoBERTa、ELECTRA、ALBERT和DeBERTa。这些模型分别在不同数据组合（如MR+MF、HR+HF等）和不同新闻生成阶段（如人类遗产阶段、过渡共存阶段、机器主导阶段）进行了训练与验证。

（2）主对比实验

在人类遗产阶段中，当训练数据中全部由人工编写时，该检测系统能够在GossipCop++域内测试集上实现对各个子类的均衡检测。当这一过程中，机器生成假新闻（MF）的比例逐渐提升时，检测器的MF检测准确率显著提升，但其对机器仿写的真实新闻（MR）的识别能力却逐渐减弱。这表明，尽管该检测系统在MF检测方面表现出较高的效率，但其可能过分依赖于与机器生成文本特征匹配的模式，从而导致对MR新闻的判断能力下降。

在过渡共存阶段，真实新闻和假新闻的训练数据集整合了人工编写与机器生成的内容。实验结果表明，当机器生成内容（MF）在假新闻训练数据中的比例较高时，检测器能够有效识别机器生成的假新闻，但对人工编写内容（HF）的检测准确率明显下降。这一现象可能源于检测器在训练过程中倾向于将机器生成文本的特征与假新闻内容相关联的学习倾向，这可能导致其在未接触过足够多人工编写假新闻样本的情况下，识别能力显著下降。

机器主导模式下：在机器主导模式中，所有真实新闻训练数据均源自机器生成内容，这一设定旨在模拟未来可能出现的机器主导新闻生成情景。在此设定下，检测器在域内数据集上对机器生成假新闻（MF）的检测效果显著，然而在对人类编写的假新闻（HF）的检测效果上则表现欠佳。这一现象进一步揭示了检测器可能倾向于过度适应机器生成文本的特征，而未能充分考虑内容的真实性。

（3）Class-wise Accuracy as a Function of the****Proportion of MF Examples

本研究考察了假新闻检测器在多个不同比例的机器生成假新闻（MF）比例下的表现特征。

随着MF比例的增加，检测器对机器生成的假新闻（MF）的识别准确性显著提升，表现出对机器生成文本特征的敏感性。然而，对人类编写的假新闻（HF）的检测准确性随着MF比例的增加而下降，这可能提示检测器过度适应了机器生成文本的特征。此外，对机器仿写的真实新闻（MR）的检测准确性通常会下降，这可能与检测器将MR与MF混淆有关，因为两者本质上都是机器生成的。最后，对人类编写的真实新闻（HR）的检测准确性可能会有所提升，因为HR与MF在风格和特征上存在显著差异。

论文还分析了不同阶段的变化：

• 人类遗产阶段 ：在无机器生成内容的训练数据中，检测器在各子类的检测准确性方面表现均衡。
  • 过渡共存阶段 ：这一阶段反映了新闻来源的多样性，其中检测器对机器生成假新闻（MF）的识别性能有所提升，但对人类编写假新闻（HF）的识别性能有所下降。
  • 机器主导阶段 ：在绝大多数情况下，检测器对机器生成假新闻（MF）的检测性能达到极高水平，但对人类编写内容的检测性能则相对较低。

（4）不同检测器以及模型大小的分析

• 模型比较 ：不同模型在识别各类假新闻方面表现出显著差异。 例如，RoBERTa在某些设置中对人类假新闻（HF）和机器生成假新闻（MF）的检测准确性较高，而其他模型可能在检测真实新闻（HR）方面表现更优。
• 模型偏好 ：这些差异可能反映了内在的模型偏好或训练时的特性， 例如某些模型可能更倾向于将文章分类为真或假，这影响了它们在复杂数据集上的泛化能力。

模型大小的表现差异

（5）跨域检测

• 性能表现下降：在域外测试集上，大多数检测器的性能整体呈现下降趋势，尤其是在训练数据的代表性不足时。
• 机器生成假新闻比例变化的影响：调整机器生成假新闻（MF）的比例有助于缓解跨域检测性能的差距，但这种调整可能会导致对某些特定子类（如HF和MR）的检测性能下降。

4.总结

• 数据平衡性的优化：研究建议在训练假新闻检测器时，采用多样化的数据源，尤其是在测试数据分布不确定的情况下，引入不同来源的新闻样本。
• 跨域性能提升的策略：通过增加训练集中机器生成内容的比例，可以提升检测器在不同领域的泛化能力，从而缩小域内与域外检测精度的差距。