Sequence-to-Sequence Knowledge Graph Completion and Question Answering
摘要
基于知识图嵌入的方法通过将每个实体和关系映射为低维向量来表征知识图。
1.介绍
一种多关系图被称为知识图谱（KG），其节点代表现实世界中的实体（如巴拉克·奥巴马、美国）。通过命名的边来表示实体之间的关联（如巴拉克·奥巴马-出生于美国）。这些知识图谱数据库可以分为领域专有和通用类型，并且能够存储常识信息（如Wikidata和DBpedia等）。在搜索引擎、问答系统以及推荐系统等领域具有重要意义。
大部分实际场景中的知识图谱都是不完整的。基于现有事实的信息中推导出一些缺失的事实(Bordes等人, 2013).这种被称为知识图补全(KGC)的任务近年来已成为一个热门的研究领域(Wang等人, 2017)，通常使用知识图嵌入(KGE)模型进行处理。KGE模型通过密集向量嵌入来表示每个实体与关系。基于这些嵌入信息,KGE模型被用来训练以区分正确的事实与错误的事实。因此,KGE的主要应用之一是回答关于不完整知识图谱的问题
鉴于现实世界知识图谱嵌入（KGE）的巨大规模（维基数据中约包含9000万个实体）以及其对下游任务的支持需求(KGC和QA)，我们期望设计出一种满足以下关键属性的高效KGE模型：(i)扩展性-即具备与实体数量无关的模型大小和推理时间；(ii)高质量-能够实现良好的经验性能；(iii)多功能性-适用于多种 downstream任务；(iv)简洁性-由标准架构和统一训练流程构成。传统的方法在简洁性和有效性方面表现突出，并基于简单的架构实现了高质量的表现。然而，在面对大规模数据时（每个实体/关系都需要独立嵌入），传统方法在模型规模和推理速度上会随着数据量线性扩展，并且在通用能力方面存在局限。为了克服这些限制,DKRL(Xie等人,2016a)及KEPLER(Wang等人,2021)等研究则致力于通过组合嵌入策略来解决可扩展性问题.尽管如此,这些方法仍无法达到传统高效KGE方法所具有的那种令人满意的性能水平.
KG-BERT (Yao等人, 2019)基于预训练BERT技术开展链接预测研究，并展现出显著的优势优势, 这种技术方案特别适合于支持各种下游自然语言处理任务.但是由于其内部采用交叉编码器的设计架构限制了扩展性.另外一种基于知识图谱问答的方法（KGE-QA）在处理不完整的知识图谱数据时表现优于传统型的知识图谱问答方法.然而, 将KGE与问答系统整合成一个高效系统是一项极具挑战性的任务.这些研究大多局限于特定类型的查询问题（如Huang等人的工作、Sun团队的研究以及Saxena团队的研究），或者需要复杂的多阶段训练流程（Ren团队的工作）.尽管如此, 这些模型却以牺牲通用性和简洁性为代价.在附录中的表9对这些方法进行了比较
研究结果表明, 本研究提出的方法能够有效实现一系列预期目标。为此, 我们将KG链路预测问题建模为seq2seq任务, 并基于此构建了一个基于编码器-解码器架构的Transformer模型(Vaswani et al., 2017)。随后, 我们对该预训练模型进行了问答能力优化, 并进一步进行了微调以提升性能; 在这一优化过程中, 我们引入了链接预测目标作为正则化手段; 这一系统性设计既简洁又强大: (i) 具备良好的可扩展性——通过采用实体表示和自回归解码机制(而非穷举所有实体), 实现了高效的推理能力;(ii) 在性能质量方面, 我们取得了两个关键任务上的最先进的基准表现;(iii) 同一模型还可广泛应用于多个数据集上的KGC和KGQA任务;(iv) 这些优势均建立在无需针对特定任务或数据集进行超参数调优的基础之上
本研究中使用的KGT5方法首先在链接预测任务中进行训练时（具体而言是预测头实体或尾实体，并基于已知的尾实体或头实体以及对应关系进行建模）。针对问题解答，则通过问答系统进一步优化同一模型。
综上所述，我们做出了以下贡献:
我们阐述了KG链路预测及问题回答均可视为序列到序列任务这一观点，并证实通过单个编码器-解码器架构（与T5-small（Rafael et al, 2020）采用相同架构）该方法得以有效解决。
采用简单而强大的KGT5方法，在对拥有90 million实体的数据集进行应用时实现了模型大小缩减至98%（相较于传统kge），并显著超越了现有方法。
我们着重说明了该方法的多功能性这一特性。具体而言，在通过对KG链路预测进行预训练后再将其应用于问答任务中时,KGT5在多个大规模的KGQA基准测试中均展现了与其复杂度相当或更好的性能。
2.背景及相关工作
合理性
知识图问答（Knowledge Graph Question Answering, KGQA）是一种利用知识库作为信息源来解答日常对话中各类问题的技术。这类任务既包括仅需单一事实检索的问题（如询问印度使用的语言有哪些），也涉及需要通过知识图中多个事实进行逻辑推理以得出结论的问题（如询问莱昂纳多·迪卡普里奥主演过的电影类型）。kge算法可以在后台知识库不完全的情况下有效执行知识图问答任务。
在接下来的几节中，我们将更详细地介绍kge和KGQA的现有工作。
2.1知识图谱嵌入
Atomic KGE models.
现有研究已提出多种KGE模型，在其设计上存在显著差异。
Compositional KGE models.
为了对抗规模随知识图谱中实体数量线性增长的问题，表示方案可以通过采用token embeddings构建的方式来解决这一挑战。DKRL（Xie等人，2016b）通过将实体描述的词嵌入与CNN编码器相结合，并采用TransE评分函数作为评估手段。KEPLER（Wang等人, 2021）则采用了基于transformer架构的编码器，并将典型的KGE训练目标与掩码语言建模目标进行了整合。这两种方法虽然在不同层面进行了编码处理但未能充分兼顾关系建模的能力导致其在下游任务（如问答）迁移性方面存在局限性。相比之下MLMLM（Clouatre等人, 2021）采用了基于Roberta架构来编码查询并利用[MASK]标记预测结果但在大型KGE模型在链路预测任务上的性能优于原子KGE模型并且尚未扩展至文本相关的下游应用
2.2知识图谱问答
知识图谱问答（KGQA）主要依赖于语义解析技术（Berant et al., 2013；Bast & Haussmann, 2015；Das等人, 2021a），其中自然语言（NL）问题被转换为对知识图谱（KG）中的符号查询。然而，在处理不完整的知识图谱时会遇到挑战：当单个关系链接缺失时会导致查询无法成功完成。近期研究集中于KGQA而非针对不完整知识图谱的研究（Sun等人, 2021），这也是我们当前研究的重点。为了将知识图谱嵌入（KGE）应用于KGQA问题中，在构建的基础知识图谱上首先训练KGE模型，并将学习到的知识表示集成到问答流程中。这种方法虽然在某些方面具有优势：例如Huang等人（2019）提出的方法能够处理基于单一事实的回答问题；但EmQL框架（Sun等人, 2021）则需要提前了解问题的语义结构才能发挥作用。此外，在处理多跳问答任务时,Saxena等人开发的EmbedKGQA框架虽然能够实现这一目标但它无法有效处理涉及多个实体的问题。因此,现有方法在通用性方面仍存在不足：尽管LEGO框架（Ren等人, 2021）理论上能够回答基于一阶逻辑的所有复杂问题但它必须整合多个组件包括实体链接、关系修剪以及分支修剪模块等以实现这一目标。这种设计上的权衡导致LEGO框架在追求多功能性的同时牺牲了简洁性和易用性
3.The KGT5 Model
我们选择性图谱的链接预测与问答任务作为序列到序列（seq2seq）学习的核心内容。随后，在这些任务上构建并训练了一个基于编码器-解码器架构的Transformer模型（参考T5-small的设计架构,Rafael et al., 2020），该模型未使用任何预训练权重初始化。在问答训练过程中，我们引入了基于链接预测的目标来进行正则化处理。该方法被命名为KGT5，并生成了一个可扩展的、参数量显著低于传统KGE模型的知识图谱链路预测系统。该方法以其简洁性和普适性著称，在处理各种数据集上的知识图谱问答查询（KGQA）时表现出良好的适应能力
将KG链路预测视为一个seq2seq任务，则需满足以下前提条件：一是必须具备实体及其关联关系的文本表示；二是同时需要一种语言化的方法来将链路预测查询转化为对应的文本查询。其中相关细节将在第3.1节中详述。具体而言，在第4节我们对模型的训练过程进行了详细阐述；接着，在第5节我们将重点讨论模型推理机制；最后，在第6节我们将深入探讨如何优化该系统并分析其推理流程。
3.1文本表示与语言化
Textual Representations & Verbalization
Text mapping
在链接预测任务中，则涉及实体及其与之相关的文本表示之间的严格一一对应关系。
在基于Wikidata构建的知识图谱（KGs）中，则将其实体及关系规范化提及作为其文本表示。
随后采用消除歧义的方法，在名称中附加描述和唯一的ID信息。
针对仅用于问答的数据集而言，在这种情况下，并非强制要求一一对应映射；相反，在这种情况下过度消除歧义甚至可能导致模型性能下降。
Verbalization
通过将查询(s,p,)表示为文本形式，并将其转化为序列到序列的任务。这相当于将(s,p,)查询转化为序列到序列的任务。这一过程类似于Petroni等人(2019)的语言化研究，但不涉及专门针对关系模板的设计。例如，在查询(barack obama,born in place of nation,)中，我们首先识别实体barack obama及其与relation born in之间的联系，并将其转化为预测尾部的任务："predict tail:barack obama | born in place of nation"。这个转化后的序列是模型输入的一部分，在输出时应为此处对应的答案"united states"。
3.2Training KGT5 for Link Prediction
值得注意的是，在解码过程中每个步骤中都会预测下一轮可能出现标记的概率分布，在这一阶段我们采用交叉熵损失函数来进行评估。由于预测出来的概率分布与其真实目标分布之间存在差异从而导致被惩罚（即真实的下一个标记出现概率为1而其余标记出现概率均为0）。这种设计使得整个训练机制最接近Ruffinelli等人的1vsAll策略配合交叉熵损失方法（Ruffinelli et al., 2020）。不过，在具体实现上我们采用了不同的策略：首先，在每一步骤中仅考虑所有其他可能token相对于当前token的表现；其次在整个过程中重复计算次数将根据当前token的实际长度来进行调节以减少不必要的计算负担；最后这种方法完全避免了传统方法中对于大量无效对比计算的需求同时也不受实体数量变化的影响。
3.3Link Prediction Inference
在将它输入至KGT5之前，在第3.1节中描述的语言基础上
如图2所示，在链路预测任务上进行比较的是传统KGE模型（标记为A）和KGT5模型（标记为B）的推理管道。对于一个查询项（s,p,o），我们首先将其转化为相应的文本表示，并将该文本表示输入至目标模型。通过解码器部分生成固定数量的目标序列，并随后将这些目标序列映射回对应的实体ID。其主要区别在于传统的KGE方法必须对知识图谱中的每个实体进行评估，请参见§3.3了解更多细节。
3.4KGQA Training and Inference
基于KGQA的研究框架，在背景知识图谱（§3.2）上我们采用了link prediction task进行预训练模型构建。这种预训练策略与现有KGQA研究中广泛采用的"KGE模块训练"方法（Sun等人2021; Ren et al. 2021）具有高度相似性。随后对相同的模型架构进行微调优化以提升问题解答能力。在此过程中我们借鉴了Roberts等人（2020）的方法论：通过设计一个"predict answer:"前缀词组将其与输入问题语句相结合，并将答案实体提及的具体字符串定义为输出结果的形式。这种统一化的方法使得我们可以将KGT5模型应用于各种KGQA数据集而不受问题复杂性的限制，并且无需额外引入实体链接等子模块辅助处理
为了解决在小知识图谱（KG）任务中的QA微调阶段出现的过拟合问题，我们设计了一种新的正则化策略：将来自背景知识图谱中随机采样的链式预测序列加入到每个训练批次中。在推理过程中采用波束搜索算法，在此过程中通过基于邻域的重新排序（见第4.3节）来优化模型输出结果，在此之后得到的是一个简洁的答案。
4.实验研究
我们研究了一个简单的seq2seq Transformer模型（称为kGT-5），其具备联合训练的能力，并且既可以用于知识图谱链接预测任务，也可以应用于问答系统。基于此，在介绍所用数据集（第4.1节）、对比基准（第4.2节）以及实验设置（第4.3节）后，我们将详细分析实验结果。在深入讨论这些发现之前，请您注意以下内容：
- 在处理大型知识图谱（KGs）中的链路预测问题时, KGT5基于文本的方法成功地将模型规模缩减至与可比较的KGE模型相当的比例,即98%,其性能已达到或超越当前最先进技术和方法.
- 针对不完整知识图谱（KGs）下的知识问答（KGQA）任务,我们采用的简单序列到序列(seq2seq)方法已在多个基准数据集上实现了超越现有最佳成果的结果.
- 相较而言,在涉及大量知识密集型的任务中, KG链接预测可能相较于语言建模更适合.
- 尽管KGT5擅长概括那些不可见的事实信息,但其在具体记忆事实细节方面的能力仍有待提升.若有必要,则可以考虑将KGT5与传统的链路预测或知识问答系统相结合,以改善这一不足之处.
4.1数据集
我们在Wikidata 5M（Wang等人, 2021）和WikiKG90Mv2（Hu等人, 2021）这两个最大的公开可用知识图谱基准上测试了KGT-5在链路预测任务中的性能表现。虽然该模型是专为处理大规模问题而设计的，在较小规模的知识图谱基准如FB15k-237（Toutanova和Chen, 2015）、WN18RR（Dettmers等人, 2018）以及YAGO310（Dettmers等人, 2018）上我们依然进行了对比实验以验证其适应性。
我们对KGT5在三个大规模的知识问答基准数据集上的性能进行了评估：MetaQA（Zhang等人）（2018）、WebQuestionsSP（WQSP）（Yih等人）（2016）以及ComplexWebQuestions（CWQ）（Talmor和Berant, 2018）。MetaQA中的问题涉及不同跳距范围内的查询（从1跳到3跳），这些查询必须在基于WikiMovies的知识图谱上执行基于路径推理（Miller et al, 2016）。WQSP中的问题主要依赖于1跳和2跳路径的信息处理能力；而CWQ中的问题则要求系统具备复杂的推理能力包括结合、连接、比较以及最高级的逻辑推理能力。值得注意的是WQSP与CWQ都支持使用Freebase（Google, 2015）作为背景知识库来进行问答处理。为了提高回答效率我们采用了Ren等人（2021）提出的技术方案来生成Freebase的一个子集这一优化措施使得知识图谱规模缩减的同时仍然能够满足对CWQ和WQSP问题的回答需求
基于之前的研究（Sun等人, 2019a），我们通过从所有知识图谱中随机采样50%的边来模拟知识图谱的不完整性。这种采样过程造成了不同作品所使用的知识图谱（kg）的不同分布，在无需重新实现评估方法的情况下难以直接比较这些方法的结果。Ren等人(2021)采用了尚未正式发表的一种特定知识图谱分割方式来实现所有评估方法；然而，在我们的研究中发现：随着知识图谱分割方案的变化而变化的因素也会影响评估结果；因此我们建议采用与我们的实现方案一致的知识图谱分割方式，并呼吁进一步的研究工作能够利用这一资源展开探索。为了便于报告结果而不进行重复实现工作：我们将分别列出我们提出的方法以及现有基线模型的具体性能指标；此外我们还引入了基于生成式真值SPARQL查询（GT查询）的方式来进行准确性评估；GT查询不仅用于估算单个知识图谱下的拆分难度：还能帮助比较不同知识图谱下的模型性能表现差异。值得注意的是：在整个模型训练过程中仅使用了(NL question, answer entity)对作为输入数据：并未提供或利用生成式真值查询信息参与训练过程；如表1所示为我们在实验中所使用的主要知识图谱统计信息；表11列出了相关QA数据集的具体统计结果。
4.2Comparison Models
对于Wikidata-5M知识图谱（KG）补全任务的研究中，在面对不同知识图谱模型时我们需要与其进行系统性对比分析。现有研究表明，在多个基准数据集上该方法均表现出良好的性能（Ruffinelli等学者, 2020）。然而由于这些模型往往存在较多的参数量而难以在实际应用中使用。因此我们需要重点考察低参数量条件下各方法的表现特征。为此我们选择了KEPLER（Wang等人, 2021）、DKRL（Xie等人, 2016a）以及MLMLM（Clouatre等人, 2021）等基于文本的方法进行评估。此外为了全面考察不同方法之间的差异性我们还引入了基于低维表达式的ComplEx方法这一改进方案。最后针对小型规模的知识图谱基准测试中我们也采用了与当前最优性能相当的NBFNet模型作为对比对象（Zhu等人, 2021）
对于KGQA领域而言，在不依赖完整知识图谱的前提下仍可达成最优问答性能的方法已获得广泛认可。我们系统地评估并列出了几种此类方法的具体表现形式：PullNet（Sun等研究者提出于2019年）基于神经网络架构；EmQL（同样由Sun等研究者于2021年提出）则聚焦于查询表示；EmbedKGQA（Saxena团队在2020年提出）则采用嵌入式知识表示；而LEGO（Ren团队于2021年提出的方案）则基于模块化构建策略。进一步地，在MetaQA基准数据集上进行实验时发现其性能表现接近于现有最优水平。特别地，在本研究中我们将该基准任务与一种新型关系路径查找方法（命名为PathPred）进行了对比实验。这种基于远程监督学习的方法通过从训练集中获取的问题实例特征自动识别潜在的关系连接模式，并最终将这些问题映射至关系路径上以完成解答过程。
4.3Experimental Setup
在针对所有主要实验的研究中，在不引入外部预训练权重的情况下，我们采用了与T5-small（约60M参数）相同的模型架构设计。对于标记序列处理部分，在经过专门优化的语言化评估（Kudo和Richardson, 2018）的基础上构建了一个基于BPE的标记器（具体数据详见表1）。
该研究采用了AdaFactor方法（Shazeer和Stern, 2018），该方法配备有学习率预热计划，并应用于链接预测训练任务中。通过与Roberts等人（2020）相同的步骤进行问答微调过程，在本研究中将批次规模减半并固定学习率为一个较低的值（即为每批次设定的学习率）。所有实验均在四块NVIDIA 1080 Ti GPU上执行（Wolf et al, 2019）。值得注意的是，在本研究中未对KGT5模型进行针对特定数据集的超参数优化，并且在整个实验过程中始终采用了相同的网络架构、批次规模、失活率以及学习率计划设置。
在推理过程中，我们采用了抽样大小为500的方法来进行链路预测，并采用波束大小为4的方式执行KGQA。随后，在给定问题q及其主题实体e的情况下（它们各自对应的（对数）概率），我们需要计算每个可能的答案a与其对应的相关实体pa之间的得分，并在此基础上进行评估以优化KGQA的结果。
在其中，在α被视为一个常数超参数的情况下，在主题实体注释被用作测试问题部分所限定的数据集中进行重新排序。表示为N(e)，即主题实体的N步邻域（其中N取值为1、2或3），其重新排序仅限于仅当主题实体注释被用作测试问题部分时所限定的数据集。
4.4Link Prediction with KGT5
表3展示了 Wiki KG 90Mv2 在链路预测方面的性能，在可获得的基准知识图谱中 Wiki KG 90Mv2 处于领先水平。本研究对 TransE 模型及其变体进行了系统性评估其中 -MPNet 与 -concat 方法采用基于文本嵌入的实体表示策略 并与 KGT-5 采用相同来源的文本数据进行实验验证实验结果表明 在所有参赛模型中 KGT-5 的表现最优 其参数规模较之于排在第二的参赛者 减少了约 98%
实验结果表明，在Wikidata 5M数据集上进行链接预测时, 虽然规模较 overwhelming, 但在研究效果方面却表现出色。研究表明, 在各项评估指标上,KGT-5均显著优于所有低参数计数模型。与大型ComplEx模型相比,MRR值下降幅度达 0.008个百分点,hits@1提升幅度则达 0.012个百分点。
基于Wikidata5M提供的不同查询类型分类方法, 我们采用了更为细致粒度的研究方法(见附录表格13). 研究发现, 在针对训练数据中缺乏明确参考解答或仅有少量标准答案的问题类别上, KGT5表现出色; 而当一个问题可能对应多个实体时(即存在多个潜在的标准解答), 其性能会有所下降. 这主要归因于采样的本质原因: 低概率序列通常难以被有效采集到, 并且在排序过程中也会遇到挑战. 进一步而言, 如果已知条件下的阳性样本数量超过所进行抽样的数量, 则有限抽样策略(如第3.3节所述)可能会导致无法准确提供正确的解答.
基于这些观察结果, 我们构建了一个包含ComplEx和KGT5模型的知识图谱集合, 并按照以下流程处理查询:当一个查询无法从KG数据库中找到答案时, 系统将调用KGT5模型进行推理;反之, 如果有匹配结果存在, 则直接调用ComplEx模型(其参数配置为614 million parameters)来进行响应。如表2所示, 通过这一简单的集成策略开发出的知识图谱系统不仅超越了现有单个模型的表现, 在Wikidata5M基准测试中实现了最高的性能水平。值得注意的是, 这种集成方案并未旨在实现可扩展性或多功能性目标, 反而成为了评估KGT5模型性能优劣的一种间接手段
附录表10详细记录了实体数量≤150k的知识图谱（Knowledge Graphs, KGs）上的链路预测性能。在此处讨论的情况中,KGT5有时会在性能上落后于基准模型; 众所周知，在数据稀缺的情况下, Transformer模型可能会遇到挑战, 这可能是这些小规模知识图谱导致的问题之一。
4.5QA over Incomplete KGs with KGT5
4.6 Relation to Knowledge Probing
像LAMA (Petroni等人，2019)这样的知识探索工作旨在回答以下问题:在具有语言建模目标的通用文本语料库上预训练的模型(例如BERT)可以用作知识库吗?在我们的例子中，模型已经明确地用链接预测目标进行了训练，并且知识探测实验将类似于检查链接预测的训练集性能(在§4.8中讨论)。此外，我们并不认为KGT5是像大型lm一样通用的，也不认为它包含通用的世界知识。因此，我们不会对T-Rex或Google-RE等数据集进行知识探测实验(Petroni et al .， 2019)。
4.7 KG vs LM pretraining
我们在评估通用语料库预训练模型及其在知识图谱问答（KGQA）任务中的应用时
4.8 Limitations
Full-KG Question Answering.
表7列出了hits@1在全知识图谱环境中的性能数据。与仅占知识图谱一半大小的50% KG相比,KGT-5在全知识图谱预训练过程中性能仅略高于后者,并且显著低于基于复杂方法开发的Embed-KG-QA模型以及采用(NL-query,SPARQL-query)并行数据语义解析方法开发的CBR-KG-QA模型.这一结果表明,尽管KGT-5擅长从不可见的事实中概括信息,但它可能不具备记住已知事实的能力.KGT-5在列车集链路预测任务上的表现进一步验证了这一点(表8).尽管ComplEx与KGT-5在测试MRR方面表现相近,但ComplEx模型在训练阶段的表现略胜一筹.一种可能的原因是,KGT-5模型容量受限,仅有60 million参数,这使其无法有效存储和回顾预训练期间见过的事实,导致其训练阶段MRR表现不佳.此外,KG-QA任务的整体性能在全知识图谱环境下显著下降.因此,我们不建议将KGT-5单独作为KG-QA方案采用;只有当基于查询解析的方法无法提供理想结果时才应考虑使用它
Use of textual mentions
由于KGT5依赖于每个实体的文本表示信息，在实际应用中无法直接适用于所有知识图谱（Knowledge Graphs, KGs），尤其是那些包含CVT（Concept Visual Tree）节点作为实体的知识图谱（例如完整的Freebase）。为了确保研究的有效性，在对比使用实体名称/描述与不使用实体名称/描述的不同模型时，请特别注意以下几点：在我们的实验研究中发现，在WikiKG90Mv2数据集中绝大多数验证三元组都仅依赖于纯文本处理方法（例如：）。此外，在WN18RR数据集上基于定义构建的知识图谱可能存在潜在的数据泄露风险（例如：）。然而从实际应用角度来看，在技术方案选择上必须权衡利弊
5.Conclusion and Future Work
研究表明，在知识图谱（Knowledge Graph, KG）领域中将链接预测和问题回答（Question Answering, QA）任务视为序列到序列（Sequence-to-Sequence, seq2seq）问题并取得了一定成果。我们成功构建了一个基于单编码器-解码器架构的Transformer模型来解决这一问题，在链接预测任务上进行了基础研究，并将其迁移至问答（QA）任务中进行优化微调。为此我们提出了一种名为KGT5的方法，在对比实验中发现该方法不仅能够与现有最先进的技术相媲美地完成大规模知识图谱上的问答推理（KBQA），而且其参数规模较T5small规模减少了98%以上。值得注意的是，在面对不完整知识图谱（Incomplete KGs）场景下的KBQA任务时，我们的统一方法表现出了显著的优势——在多个大规模基准数据集上的实验结果均超越了现有的基线方法。此外，在语言建模预训练效果对比实验中发现：对于需要较高知识密集度的任务（如KBQA），直接进行链接预测模型的微调可能比单纯的预训练语言建模更为有效。
在探究未来方向时，在训练大型seq2seq模型的过程中