阿里云人工智能平台PAI多篇论文入选EMNLP 2023
近期，阿里云人工智能平台PAI主导的多篇论文在EMNLP2023上入选并展示了显著的技术创新。会议聚焦于自然语言处理领域的前沿技术及其应用，包括生成高质量图像的自动提示工程算法BeautifulPrompt、基于知识图谱的知识增强语言模型、面向复杂任务的认知推理算法CogTree以及跨语言机器阅读理解方法X-STA等创新成果。这些研究不仅推动了预训练语言模型的技术发展，在垂直领域和跨语言场景中也展现了显著的应用价值和竞争力。（108字）
近年来，在中国的人工智能技术领域取得了显著进展。其中，在人工智能自然语言处理领域取得了一项重要成果：由阿里云人工智能平台PAI负责指导的多篇论文被收录为EMNLP2023会议优秀论文。EMNLP被视为该领域最高水平国际会议之一，并特别关注前沿技术在不同领域的探索。此次入选充分证明了中国的人工智能技术创新不仅达到了世界领先水平，并且赢得了学术界的高度评价。这一成果不仅彰显了中国人工智能领域的创新能力，并且展示了该领域在全球范围内的影响力
论文简述
面向Stable Diffusion的自动Prompt工程算法BeautifulPrompt
AIGC技术中的文生图是一项具有里程碑意义且广泛应用的技术方案。其核心功能在于通过输入文本即可生成逼真的图像内容。然而，在这一过程中需要设计者提供清晰明确的提示信息（如"一艘雄伟的帆船"），而这种提示词的设计往往充满不确定性和挑战性。这种不确定性源于训练数据质量的问题，在于仅凭简单的文字描述难以保证生成图像的质量与细节层次感。在实际应用中，默认由专业人员进行这项工作不仅耗时费力而且效率低下。为了解决这一困境,BelautifulPrompt模型提出了一种全新的解决方案,它能够自动生成高质量提示词序列,其机制与InstructGPT相似,均采用了三阶段训练策略进行优化。该系统不仅简化了提示词的设计流程还显著提升了生成效果,具体效果可以通过下图直观展示。
为了检验BeautifulPrompt的作用与价值，在多个定量评估指标与定性反馈机制的基础上进行系统性测试与分析，并通过多维度数据积累与深度反馈优化实现系统效能的最大化提升
面向垂直领域的知识预训练语言模型
知识增强预训练语言模型（KEPLM）能够通过整合大规模知识图谱中的实体与关系信息来显著提升多种下游自然语言处理任务的表现能力。然而，在垂直特定领域的迁移过程中仍面临诸多挑战：尽管现有的开放域KEPLM方法能够在一定程度上模仿垂直领域知识图谱的特点以实现迁移学习效果提升，在实际应用中发现这些方法往往难以满足特定领域的个性化需求。如图所示，在垂直领域中与纯文本相比的知识图谱实体覆盖率为较低水平；这种现象表明传统方法仅依赖于少量关键三元组进行知识融入的方式可能无法充分满足特定领域的语义建模需求。进一步研究表明：相较于开放域场景下较为分散的知识分布特征而言，在垂直特定领域的知识图谱呈现出高度集中的双连通分量占比显著更高；这表明在垂直特定领域内同一实体类下的实体间具有较强的关联性并展现出明显的局部密集分布特征。
该研究工作立足于上述领域知识图谱（Knowledge Graph, KG）的核心数据特征，并提出了一种高效统一的方法体系来处理垂直领域的知识表示问题（Knowledge Extraction and Learning Module, KEPLM）。具体而言，在知识提取阶段（Knowledge-aware Extractor），该方法采用双曲空间模型对垂直领域的图谱数据进行层次化语义分析，并以此为依据补充全局语义稀疏模块（Hyperbolic Knowledge-aware Aggregator）；在知识表示阶段（Knowledge Representation Module），通过构建基于点双连通分量的知识增强模块（Multi-Level Knowledge-aware Augmenter），有效捕捉领域图谱中的密集子图结构特征。
针对金融与医疗等领域的多个下游应用场景，在全样本数据集与部分样本数据集上进行了系统评估与验证测试，并最终验证了该模型在这些场景中的性能表现得到了显著验证。
基于大语言模型的复杂任务认知推理算法CogTree
随着深度学习在自然语言处理与机器翻译等领域的持续发展
本研究聚焦于轻量化大模型（如[()）在复杂任务推理方面的优化工作。通过开发一个7B规模模型的小规模架构，在双系统生成推理树的基础上显著提升了该模型在复杂数学问题和逻辑推理问题上的解答能力。该创新性方法基于现代认知理论构建了直觉与反思两套处理机制：直觉系统负责对问题进行多维度分解与假设生成，而反射系统则负责对这些假设进行验证筛选，并逐步优化推理路径直至获得最终结论。这种迭代式的双系统协同作用不仅提高了解题效率，还显著提升了解题的准确性。
我们对Entailment Bank的逻辑推理数据集和GSM8K的数学问题数据集进行了实验验证，在实际应用中发现该方法能够有效提升处理复杂任务的能力
基于知识迁移的跨语言机器阅读理解算法
大规模预训练语言模型体系对自然语言处理任务的整体推进产生了重要影响，在提升各下游任务准确度方面取得了显著成效。然而，在实际应用中仍面临诸多挑战：首先，在资源有限的语言环境下获得高质量标注数据集尤为困难；其次，在现有研究中发现现有机器阅读理解（MRC）数据集多为英文语种，并非通用性解决方案；此外，在跨语言学习中由于不同语言体系所具有的多样化的语法模式和不同的语序特点而增加了学习难度。例如，在英语、日语、印第安纳语及阿拉伯语等多国语言中都展现出各自独特的文字系统与复杂的语法构造特征；这些问题的存在使得基于单语系数据的学习效果往往难以满足多语种场景下的需求。为此，在现有文献研究中通常采用的数据增强策略之一是通过机器翻译技术将源语言的数据集转换为目标语言语料库进行模型训练；但这种基于翻译手段实现的数据扩展方式也带来了新的问题：由于目标域答案跨度可能与源域输出结果存在偏差而导致无法直接利用源域的概率分布来进行目标域模型的优化。
本研究团队开发了一种名为X-STA的跨语言问答系统，并基于以下三条指导原则进行设计与实现：知识共享、智能引导与多级对齐。在知识共享方面，在不同语言之间构建了基于梯度分解的知识共享机制，并将该机制作为输入给模型使用以提升其性能表现。具体而言，在这一过程中将源语言的信息作为输入给模型使用，并通过分析目标语言的回答上下文来推断出相关答案片段。在智能引导方面，则通过引入注意力机制来识别与目标语言输出答案语义相匹配的答案片段，并将其作为反馈用于优化生成质量。此外，在多级对齐策略被采用的基础上进一步提升各语言间的知识传递效率，并最终实现各语言间的无缝衔接以增强MRC模型的跨语言应用能力
通过验证X-STA算法的有效性，在三个跨语言MRC数据集上的实验结果表明，X-STA在精度提升方面表现显著。
在多个模块中对上述科研成果进行了全面集成，在线服务系统持续为用户提供与AI模型训练相关的便捷服务。其中一项重要应用领域是BeautifulPrompt技术，在多个方面已经被成功集成到多个系统中：首先被成功集成到SD WebUI中作为可扩展插件及在线推理服务实现集成；其次也被成功集成到PAI-EAS在线推理服务中；从而实现了用户在5分钟内就可以在PAI-EAS上一键部署SD WebUI并支持多样化的AIGC文图生成功能应用。此外，在另一个关键领域——快速接入与智能配置（PAI-QuickStart）系统中整合了当前市场主流的大语言模型，并通过多样的训练与推理模式进一步简化了大语言模型的微调与部署流程。未来将持续致力于提升算法能力和丰富模型资源以满足客户需求。
论文信息
论文标题：BeautifulPrompt: Targeting Automated Prompt Synthesis in Text-to-Image Tasks
论文作者：曹庭锋、汪诚愚、刘冰雁、吴梓恒、朱金辉、黄俊
论文pdf链接：https://arxiv.org/abs/2311.06752
本研究旨在通过强化知识增强的上下文语言表示来提升领域自然语言理解的能力
学术论文PDF文献链接
论文标题：Simplify Complexity: Exploring the Cognitive Framework for Small Language Models in Reasoning Tasks
该论文的PDF连接为：https://arxiv.org/abs/2311.06754
Knowledge sharing, technique transmission, and system alignment: A knowledgeable transfer learning approach for cross-lingual machine reading comprehension
曹庭锋 汪诚愚 谭传奇 黄俊 朱金辉
论文pdf链接：https://arxiv.org/abs/2311.06758
本文为阿里云原创内容，未经允许不得转载。