人工智能顶会AAAI 2023放榜!网易伏羲7篇论文入选
近日,在第37届国际顶级人工智能学术会议上(简称AAAI),网易伏羲实验室共提交7篇论文并全部被选中 。该实验室在人工智能领域享有盛誉的最高水平的学术平台,在全球范围内仅接受最多数量的高质量研究成果。此次优异表现吸引了来自国内外的众多学者及企业关注与讨论。

本届AAAI共接收高质量论文8777篇
1
StyleTalk: Single-shots Speech Head Synthesis with Parameterized Utterance Spaces
风格多样的表情动画制作在游戏剧情制作过程中发挥着重要的作用。本论文探讨并提出一种新的技术方案——即一项关于控制性面部表情动画生成的研究方向,并进一步尝试将其应用于生成能模仿人讲话的面部视频这一技术领域。
传统的情绪化表情合成工作侧重于不同情绪的表情差异性,却忽视了同种情绪下个体间的差异性。文中将这种交流中面部运动的个体特征归纳为"说话风格"。通过提供一段参考视频或表情动画,并从中提取相应的说话风格片段,在语音驱动的系统中实现基于特定说话风格的表情动画合成控制。
为了实现上述目标,论文提出了以下方案:
首先, 开发一个抽象风格表达编码器, 并通过分析时序的表情动画数据获取相应的抽象风格特征向量。
基于动态解码器结合 style-aware feature vectors 的三维重建技术,在语音信号分析与表情生成之间建立了新的映射关系
使用一个图像渲染器将动画参数渲染成视频;
该方法通过创新性地提出新的研究方向,并成功地实现了高保真度的情绪化表情动画合成技术。本研究工作能够生成高质量的表情动画内容,在涵盖游戏娱乐、元宇宙社交以及虚拟人物展示等多个领域的重要应用中展现出广泛的应用前景。
2
FlowFace: Semantic Flow-guided Shape-aware Face Swapping
换脸技术是一种广泛应用于数字媒体处理的前沿技术。其核心目的是将输入源的人脸信息通过特定算法转移到目标 facial features中去,并同时保留目标脸部的各种细节特征如表情、姿态、发型等。该技术不仅在影视特效制作领域发挥着重要作用,在个性化游戏CG和虚拟形象塑造等方面也展现出巨大潜力。然而目前大多数换脸方法仅能转移五官特征而无法调整整体面部结构从而限制了换脸效果的相似度
为了解决这一问题, 该系统开发出一种基于语义流引导的换脸技术(FlowFace)。该技术不仅能够实现将五官进行转换以及调节整体脸型。
通过(Face Reshaping Network)这一阶段,在完成三维人脸模型的基础上推断出脸型变换语义流(Semantic Flow),能够显性地调整目标面部形态并最终完成源面部至目标面部形态的迁移过程。
针对五官迁移阶段中的Face Swapping Network技术,在该框架下我们采用了基于人工智能的技术路径
基于我们设计的方案,在-face face shape transfer 和 facial feature transfer 方面均展现了在人脸替换领域的领先性能。此外,在文章中我们还展示了可应用于游戏CG角色更换,并显著降低了人工塑造面部模型的需求。相较于现有技术而言,在实验结果中我们发现其性能表现更为出色。
展望未来的日子中, 预期组织能够深入研究并拓展这项技术在个性化虚拟形象和个性化游戏CG等领域的应用前景
3
Constructing Coherent Narrative Accounts Through the Application of a Contrastive Learning Framework, which Encompasses Dynamically Evolving and Distinctly Characterized Entities.
近年来,在生成流畅文本方面开展的研究与实践取得了显著进展,在游戏内已得到广泛应用并用于剧情生成和对话交互等场景。值得注意的是,在处理具有叙事性的故事文本时,现有的预训练模型往往难以准确地建模涉及的相关事件序列。本文认为:这些问题是由于简单用单词的静态向量表征实体内容导致的问题,并未能充分考虑随着文本内容扩展而动态变化的信息特征。
基于上述深入思考,网易伏羲实验室与清华大学黄民烈老师团队共同制定了具体方案。
开发出一种基于对比学习机制的新颖生成模型,该模型能够有效处理具有时序性和离散状态表示的任务.通过引入一个额外的关注机制,我们实现了文本解码器在辅助实体状态指导下的高效文本生成过程(如文本生成)
构建了一个对比学习框架使得实体状态在表示空间中接近其所属事件的状态;实验结果表明该框架成功地从不同事件簇中学习出一系列具有代表性的实体状态向量;相对于基准模型而言我们的方法能够生成更加一致且信息含量更高的文本描述

该研究成果未来有望应用于文本生成领域,并可助力游戏内故事生成与对话交互场景的实际落地。经过两个叙事性文本数据集上的实验验证可知,在基于实体状态指导的强大基准模型基础上,我们的模型能够产生更多连贯且多样的叙述内容。
⽹易伏羲是由专注于游戏与泛娱乐AI研究及应用的行业领先机构组成的专业团队所创立的卓越机构。该组织致力于将前沿的技术创新与丰富的游戏产业经验深度融合,并通过持续的技术研发推动整个game industry的进步
