[论文笔记] Do Llamas Work in English?On the Latent Language of Multilingual Transformers
本研究探讨了在以英语为主的不平衡语料库上训练的多语言模型是否使用英语作为内部枢纽语言的问题。通过对Llama-2系列Transformer模型的研究，我们发现模型在处理非英语提示词时经历了三个关键阶段：（1）中间嵌入最初远离正确的输出词嵌入；（2）尽管中间嵌入能够解码语义上正确的下一个词，但其英语版本的概率高于输入语言；（3）最终进入与输入语言特定区域接近的嵌入空间。我们将这一过程归纳为一个概念模型，并发现抽象的概念空间比其他语言更接近英语，这可能对多语言模型的偏见产生重要影响。相关代码和数据已公开获取。
本研究探讨了一个关键问题：即在不平衡且以英语为主导的数据集上进行训练的语言多模态模型是否将英语作为其内部中介语言？这一问题对于深入分析该模型的语言理解和潜在偏见来源而言具有重要意义。本研究的主要关注点在于Llama-2系列中的Transformer架构。在实验中采用了一组独特的非英语提示词序列，并通过逐步分析其嵌入空间的变化轨迹来揭示其生成机制的特点。具体而言，在Transformer网络中各层之间的信息传递过程如下：从输入嵌入到输出嵌入的空间映射关系中逐步提取关键词信息；通过层与层之间的权重转移关系实现对上下文依赖性的建模；最后，在预测结果生成的过程中实现了对目标词语的概率评估。通过对各层特征向量的空间分布进行动态跟踪和可视化分析，在不同处理阶段分别观察到了三种典型的行为模式：初始阶段呈现随机分布状态；中间阶段逐渐呈现出有序排列特征；最终阶段则形成了稳定的向量化表示模式。
（1）中间嵌入最初远离输出词嵌入；
在中间层中，在解码语义上正确的下一个词方面表现优异；然而，在英文译本的概率上却略高于原文。
（3）最终进入嵌入空间中输入语言特定的区域。
我们对这些结果进行了系统整合，并构建了一个概念模型；其中这三个阶段分别在输入空间、概念空间以及输出空间中进行运行；关键在于我们的实证研究表明；抽象的概念空间比其他语言更接近英语；这可能对多语言模型的偏见产生重要影响；代码和数据可在此获取：https://github.com/epfl-dlab/llm-latent-language。
