网易伏羲预训练模型”玉言“登顶CLUE分类榜单，成绩首次超过人类水平

于1月17日发布的信息显示

如示例中的括号补充说明

作为中文语言理解领域的测评基准之一，在学术界和工业界均具有重要影响力。此次'玉言'系列模型成功攀登CLUE分类任务榜这一壮举，标志着网易伏羲在中文文本预训练领域取得了一个重要进展。值得注意的是，在过去的一年里，在CLUE推出的中文小样本学习评测榜单FewCLUE上也取得了这一成就。

玉言"主要由网易伏羲进行研发的中文文本预训练大模型系列"成为新高。该架构主要由深层Encoder和浅层Decoder组成，在提升理解能力的同时也增强了生成能力。此外，在设计训练任务时较为便捷，并无需复杂的遮蔽策略。其预训练数据涵盖网易自有高质量资源等各类资源；经过去重和清洗后产生了大量优质数据集，并利用这些数据进行训练以获得良好的泛化性能。

在"玉言"模型的训练过程中，网易伏羲采用了多任务学习框架来同时优化模型的编码器和解码器。旨在增强模型对文本信息的理解能力，并提出了多样化的预训练策略以促进模型的学习。

遮蔽策略：遮蔽[MASK]使模型能够恢复被遮蔽的词语，并增强其对词义的理解能力；

Word Shift 策略：Order Disruption 策略通过随机打乱中文词语中单个字符的顺序并使其能够被恢复从而提高模型对中文词语表达的关注度以及对该语言结构的敏感度

Strategy for Reordering Short Sentences: By shuffling the short sentences within a sentence, the model is then allowed to recover its original structure to enhance its understanding of sentence semantics.

Word or Sentence Deletion 策略：允许模型通过删除句子中的单词或整句来恢复原意，并增强其对不同长度文本的理解能力。

由网易高级副总裁、雷火事业群总裁胡志鹏主导负责的网易伏羲项目于2022年度入选浙江省科技计划'尖兵'专项支持项目。自研模型规模从最初的一亿参数发展到如今的千亿参数水平，在涵盖文本、图文、音乐、行为序列等多种模态领域积累了丰富的预训练模型训练与工程优化经验。所研发的技术已成功应用于文字游戏等业务场景，并显著提升了相关领域的运营效率

此外，在中国人工智能产业发展联盟的组织下以及由中国信息通信研究院、人工智能关键技术和应用评测工业和信息化部重点实验室等相关机构共同主办的2022可信AI峰会上期中,网易伏羲的大模型应用「LOFTER-AI 写文」与「傀儡戏-互动式文字游戏」成功入围'2022大规模预训练模型优秀应用案例'认定资格,并在大模型技术及AI实践领域获得了业内的广泛认可

网易伏羲作为国内领先的智能技术研究与实践平台，在游戏业务与泛娱乐领域的创新应用方面处于领先地位。未来将持续在预训练模型的大规模应用领域进行深入探索，并借助灵性机器人的人工智能众包能力。通过引入‘人脑’决策机制并构建数据闭环系统，从而显著增强其智能化水平。