A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias

这篇综述是对《A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias》的翻译工作

多语言大型语言模型综述：语料库、对齐和偏见

• Abstract
• 1 Introduction
• 2 MLLMs Overview
• 3 Multilingual corpora and datasets
• 4 Multilingual representation alignment
• 5 Bias in multilingual language models
• 6 Future directions

摘要

在基于LLMs的大规模语言模型基础上，我们成功研制了多语言大型语言模型（MLLM），以有效应对多语言自然语言处理中的各种挑战问题。然而，在实际应用中仍面临诸多局限性和困难因素，如语种间的不平衡性、多语种对齐过程中的复杂性以及固有的偏见问题等。本文旨在全面系统地探讨MLLM研究现状及未来发展方向。首先对MLLM的基本框架进行概述介绍其发展历程关键技术和多语种处理能力等核心内容。其次重点阐述在MLLM训练过程中所依赖的广泛使用的多语种语料库及其在支持下游任务中的重要性作用等具体技术手段。第三深入分析现有研究中针对多语种表征的相关成果并探讨当前MLLM是否具备学习通用多语种表征的能力与潜力等问题。第四系统性地探讨MLLM所存在的各类偏见问题包括其分类标准及其评估指标体系等方面内容并总结现有去偏见技术的发展现状与应用效果等关键点内容。最后详细阐述当前MLLM研究面临的主要挑战并深入分析未来研究方向及发展趋势等问题内容以期为MLLM的实际应用与发展提供更深入的理解与理论支持

1 引言

2 MLLMS概述

3 多语言语料库和数据集

4 多语言表示对齐

5 对多语言语言模型的偏见

6 未来方向

这项研究就多语言大型语言模型的演进展开了全面而深入的分析。鉴于MLLM目前仍处在发展中阶段，在未来的研究中仍会遇到诸多障碍。总结如下：

• 低资源语言性能 。MLLM在高资源语言的下游任务中优于单语LLM，但在低资源语言上的性能仍然不令人满意，这可能是由于低资源语言的注释数据有限以及高资源和低资源语言之间的词汇重叠较低。基于语系的专业MLLM是一种更容易跨语言共享信息的有效方法。此外，如何为大多数语言找到一个更强大的标记器也值得研究。
• 有限且不平衡的多语言语料库 。MLLM的性能在很大程度上取决于训练数据的质量、大小和多样性。然而，世界上大多数语言的可用数据量有限。语料库中压倒性的英语文本导致MLLM的英语中心能力。尽管对于一些有数据可用的高资源语言，之前的研究表明，一些常用的多语言资源存在严重的质量问题。如何从各种语言中收集更高质量、更大规模、更多样化的训练数据值得进一步研究。
• 多模态数据源的使用 。利用来自语音和图像等多模态数据源的信息可以减轻对文本数据的高度依赖。人类的认知和感知能力依赖于多样化的信息，多模态数据的使用可以更好地符合人类的意图。多模态数据的支持相当于更高质量、更多样化的训练数据。然而，如何通过情态对齐准确地实现普遍表示提出了一个新的挑战，值得进一步研究。
• 多语种LLM评估 。MLLM的评估基准主要基于英语任务集的开发。然而，这些基准并不完全适用于其他语言。虽然一些任务集可以翻译成其他语言，但由于语言之间的差异，翻译后的数据集的性能将低于源语言。此外，目前的评估基准都是以任务为中心的，缺乏一个通用和灵活的评估体系。如何收集高质量的多语言评估数据集并构建一个系统来正确评估MLLM的真正多语言性这一主题仍然被低估。
• 多语种LLM的伦理影响 。多语言LLM可能会继承其训练数据中存在的偏见，从而导致产生伦理风险。由于训练数据中西方语言数据的比例很高，MLLM倾向于反映以西方为中心的概念。如何在文本生成中减少偏见，确保公平性和文化敏感性，是MLLM进一步发展的关键挑战。