基于深度学习的文本情感原因提取研究综述——论文阅读
前言
为了掌握情感分析这一技术领域的应用与发展原理，在深入理解其背后的情感驱动因素后又该如何展开研究呢？我特意查阅了相关综述文献发现虽然有几篇较新的研究报道如发表于TASLP期刊上的文章但其中涵盖的内容却只涉及至2022年的研究成果截止至该时间点这一领域的研究进展已相对完善
Access the paper at: Current Developments in Textual Emotion Cause Analysis | IEEE Journals & Magazine | IEEE Xplore
摘要
情感原因提取字段（ECEF）主要关注在文档中触发情感的原因。
单向：情感—>原因
单向：情感—>原因
单向：情感—>原因
由于随着深度学习技术的重大进展尤其是机器阅读理解 和 基于神经网络的信息检索 的快速发展 ECEF 技术受到了普遍关注 近期对其进行了深入探讨 但对其现有方法及最新发展趋势仍未能系统性地考察当前存在的方法和技术发展的最新动态
本文作者进行了一项全面的调查，并对该类方法进行了归纳和分类讨论。
- 情感原因提取（ECE）
- 情感原因对提取（ECPE）
- 会话情感原因提取字段（CECEF）
在综述中
1 介绍
伴随着计算机交流媒介的发展
早期阶段的情感分析研究主要侧重于对特定数量的情感类型在文本内容中的检测与分类。然而，在现实应用中，研究者们更重视对结果、体验者及引发的原因这些深层情感信息的研究。诸多应用场景则聚焦在引起情绪反应以及其背后的原因上，并包括但不限于经济预测这一领域，在该领域内可进行舆论挖掘以及消费者评论相关的信息提取工作等
情感原因提取（ECE）作为一项技术，在2010年首次被提出。Talmy的观点指出情绪通常是由于特定事件引发的。其主要目标则是识别并提取引发相应情绪的原因事件。这些原因事件通常是指那些明确阐述论点或具体发生的事件，并且它们触发了相应的负面或正面情绪。这项任务在情感分析领域具有较高的难度因为它要求对文本内容有深入的理解并能够进行逻辑推理。此外，在自然语言处理领域中将其视为一种应用实例
如图1所示的是一个ECE示例，在该示例中文档共有10个子句，并且第10个子句被标注为包含'excited'关键字的情感子句。第9个子句则是一个原因事件的相关子句。由此可见因果关系体现在'Because he is preparing to propose to Huang, Huang becomes very excited'这一表述中，在此系统应基于文档内容及情感信息来判断第9个子句属于原因事件相关性较高的原因子句。图1展示的是一个基于子句级别的任务场景，在这种情况下文档会根据情感信息进行注释标记。而如果目标是识别未标注的情感与对应的原因关联，则该任务属于ECPE范畴。对于ECE与ECPE两类任务若希望精确提取情感及其对应的原因关联的具体文本区间，则可将其升级为跨度级的任务形式分别称为跨度级ECE与跨度级ECPE模型
ECE的目标是在文档中识别引发特定情感表达的原因性从句。 仅当存在明确的情感标记时才能标注情感从句。例如，在从句"The couple is excited"中的"excited"被用作情感标记。如果分句如"The desk is dirty"所示，则不将其纳入情感分句集合。这种情况下是因为没有明确的情感表征。对于原因子句来说，并非一定是指情绪的实际原因。相反，在这里我们所指的是情绪发生的直接原因。实际上，并非所有原因事件都是子句形式的结构关系。有时候它们也可以是一个文本范围内的综合描述。为了便于理解和处理，我们将这些任务划分为多个层次，并将这一层级的任务命名为跨层次情感原因抽取（ECEF）。在分析情绪与原因之间的关系时，请注意同一情绪可能具有多种触发因素，并且一个原因事件也可能引发多种情绪表现形式。
近年来，情感原因提取领域（ECEF）由于以下原因受到了越来越多的关注。
- 首先，NLP和深度学习的研究者数量在不断增加。
作为自然语言处理领域中的一个热门话题，在船舶随潮上升现象的研究下，ECEF受到了越来越多的关注。我们回顾了过去几年发表在顶级自然语言处理期刊上的论文，并将统计数据归纳至图2中。NLP领域的研究数量呈现显著增长趋势
第二点关注ECEF的程度的增长与整个NLP领域的发展不完全同步，请参考图3
2016年标志着电子计算技术与工程（ECEF）的一个重要增长阶段。
而自然语言处理（NLP）领域出版物数量在该年度有所减少。
如图2所示。
自2016年起，子句级任务被正式纳入了电子计算技术与工程（ECE）框架之中。
于同年推出了首个公开基准数据集，并同步建立了统一的评估准则。
从那时起一直到当前为止，在计算机视觉领域图像分类（Computer Vision Image Classification, CVIC）方面取得了显著进展。
因此，在该领域的研究兴趣呈现出持续上升的趋势。
- 第三，如图3所示，随着2019年ECPE的出现，ECEF经历第二大增长点。
ECPE被视为ECE的主要变体形式，在情感分析领域具有独特地位
总体而言,ECEF的研究路径是逐步深入文本内涵的认识.其开发阶段及其核心特征可见于图3和表1.主要包含以下三种类型:
- 基于规则的方法
- 基于机器学习的方法
- 基于深度神经网络的方法
在早期研究期间（2010至2015年），基于规则的方法得到了广泛应用并显示出了良好的发展态势。ECE建议提取导致文本中特定情绪出现的原因事件。Lee及其团队构建了一个小型的情感原因语料库，并识别了六类有助于情感原因检测的关键语言线索：使役动词、感知动词、认知标记、介词、连词和其他类型词汇。基于一系列语言学规则的构建过程，许多基于规则的系统被开发出来，并成功扩展到了非正式文本领域（如微博）。除了人工设计语言规则外，在知识工程的基础上还发展出了基于常识的情感检测方法，并实现了自动归纳相关知识库的技术突破。随后又探索了自底向上（bootstrap）方法在自动规则获取中的应用。
具有易于实现特点的方法基于规则运行良好，在特定领域中表现出色；然而，在不同文本或语言环境下，基于规则的方法需要重新构建相应的规则集合，并因此在适用性及灵活性上存在一定的局限性。性能不仅依赖于所设计的规则的质量，还与注释语料库的规模密切相关。研究人员通过分析文档中的句法信息来支持情感原因提取这一任务；为此他们开发了一种无需大量人工干预的传统特征工程方法，并将其扩展至序列标记相关技术中以提高模型性能。从2014年到2017年期间，在自然语言处理领域内机器学习算法如支持向量机（SVM）以及条件随机场（CRF）被广泛应用于情感计算（ECE）研究中；其中SVM被定义为一种序列标记问题；而CRF则被定义为多标记分类问题的一种解决方案。值得注意的是，在2016年之前研究者将ECE主要聚焦于短语级分类问题；为此他们提出了一个改进型多核SVM算法并取得了显著的效果
与以往基于规则的方法相比，在线机器学习算法展现出更高的性能水平，并且特别注重从文本中提取情感描述以及句子内部各成分之间的深层语义关联。尽管这些算法在推动电子城Expressive Framework（ECEF）发展方面发挥了作用，但基于特征的传统系统所获取的语义信息仍然存在明显局限性。相比之下，在深度神经网络框架下引入注意力机制显著提升了模型对复杂语义关系的理解能力。相较于传统的机器学习方法而言，在捕捉多维度语义信息以及构建多层次特征表示方面深度神经网络展现出更为显著的优势。因此，在ECEF领域基于深度神经网络构建的模型取得了更为优异的表现指标。自2017年以来，在这一领域内发表了一系列创新性研究论文（如图3所示）。其中，Cheng等人提出了一个基于中文微博的大规模多用户结构化语料库，并采用长短期记忆（LSTM）模型进行特征提取；而Gui等人则提出了一种从问答视角出发利用深度记忆神经网络模型进行研究的新框架
随着深度神经网络技术的发展,ECEF方法也在不断进步。
在2018年之前,在情感分析中仅作为情感词使用。
Li等人提出了应综合考虑包含情感词及其上下文的整体情感子句,因为这种整体视角更适合文档级的情感分析,同时也能够更有效地利用上下文信息。
此外,Li等人还引入了注意力机制来分析候选原因子句与相关的情感子 clause之间的相互作用。
从Yu等人的研究可知,在层次架构中发现各层之间的关系可能更为重要。
值得注意的是, Yu等人的研究还提出了一种基于层次网络的方法,并声称这种方法相较于传统的单层架构具有更好的性能表现。
从那以后,研究人员开始广泛采用分层结构与注意力机制来捕获多粒度的信息特征。
为了进一步提升模型性能,本文还探讨了如何将外部知识融入任务学习过程中。
具体而言,我们采用了三种辅助策略:一是利用同义词扩展丰富的情感词汇库;二是整合常识性知识以提供语境支持;三是结合领域特定知识以增强推理能力。
此外,为了提高模型生成的质量与效果,本文还进行了多项技术改进工作:包括优化基于多粒度的情感提取算法、改进基于多层次关注的关系建模方法以及设计一套更高效的特征提取策略。
本文重点研究了基于深度神经网络的方法。
- 第二部分围绕ECE展开是一项经典的子句级ECEF任务体系结构和技术创新结合。
- 第三部分探讨了多种ECPE变种及其在情感驱动对话分析方向的应用。
- 第四部分列出了可使用的数据集，并展示了模型在标准化的欧洲经委会数据集上的优异表现。
- 总结与展望部分专门讨论了实际遇到的技术难题及解决方案探索。
2 ECE的技术架构
图4呈现了ECE的技术架构框架，在这一架构中输入是一个包含情感事件的文档集合，并通过注释功能实现对这些情感事件的关键点标记（所有被标记为情感的关键短语即被视为情感关键词）。针对每个包含注释标记的情感信息库中的文档D（假设共有n个这样的子句），该系统需读取所有文档中的信息并汇总相关信息以便后续处理。为了提高现有数据利用率并应对复杂的情感原因提取过程这一挑战性问题 研究人员可采用对比学习方法构建新的对比样本集以期获得更为优化的情感语义表示空间 表2列出了符号表的相关信息
2.1 子句内编码器
自然语言的原始语料被视为一组符号, 而系统无法直接解析符号表示. 因此, 将单词或句子转换为向量表示具有重要意义. 子句内编码器负责将原始文本映射到向量空间中, 并对每个子句内的单词进行编码. 该编码器位于分层架构的较低层级位置, 其主要功能是不仅提取文档的整体表示信息, 还关注每个子句内部的具体内容. 为了便于区分不同类型的编码器, 我们将仅出现在单个文档中的编码器视为一类. 其余情况下的多模态联合模型则被归类为另一类.
- 词嵌入：基于word2Vec等几种不同的 embed 方法来进行原始文本的表示；
- 词感知编码：通过深度 neural network 能够有效地提取每个 sub-sentence 中的信息。
在子句内部的编码步骤可以一次性完成，在这种情况下大模型架构设计能够实现这一目标
2.1.1 Word Embedding-词嵌入
在ECE体系中，第一步是通过词嵌入技术将文本转换为向量表示。每个包含m个不同词汇的输入短语ci将被处理后生成对应的向量表示；在这个过程中，每一个原始词汇都会被映射到一个固定的维度空间中；该过程依据其中所包含的信息进行编码；这种编码方式主要分为两类：
- 与情感无关的嵌入
- 与情感相关的嵌入
不涉及情感信息的词表（即单纯的子空间映射关系）
因为不考虑情感的嵌入难以整合全部情感信息,研究者倾向于将更具细节性甚至外部的情感信息融入词向量中。这属于涉及情感的嵌入。通过训练这些模型可以利用情感数据,现有方法主要分为以下三种:
- 通过整合应用外部情感知识及其相关无监督语料库的数据资源至嵌入训练过程，并构建其同义词语表；
- 该方法被微调以适应已有预训练的词嵌入模型；
- 对该预训练语言模型进行精调以提升性能。
在处理第三类问题时，主要采用基于BERT预设好的语言模型，并基于包含丰富情感数据的大规模语料库进行微调。一些方法将经过微调后的BERT输出结果直接用作每个子句的表征。而研究者们则更倾向于采用BERT编码后的表示作为其他组件的输入，并通过这种方式捕获更多特征特性。为了更好地捕捉文本中的上下文关系以及其间的关联性，在这一创新尝试中引入了XLNet这一自回归架构的语言模型，在某种程度上体现了其强大的适应能力。
2.1.2 Word-Aware Encoder-字感知编码器
虽然预先训练的语言模型或其它方法可直接生成最终表示。然而，在某些情况下（如将这些词嵌入向量传递至词感知编码器中），则可捕获子句内部词项之间的语境关系。\mathbf{s}_{\text{i}} 在本文中用于表示这种词感知的表达方式
- CNN可被视为一种词级特征提取器，在聚焦子句中捕获抽象语义信息。
- RNN在序列建模任务中的应用更为广泛，并展现出良好的性能特点；其能够更有效地建模长文本中的上下文依存关系。
- RNN的主要实现形式包括双向长短期记忆网络（BiLSTM）和双向门控递归单元（BiGRU）等技术。
- GRU作为一种简化版的LSTM模型，在计算效率上有所提升；其仅包含两个门控机制来调节信息流动。
- 通过图卷积网络（GCN）也能有效捕捉词语间的语法依存关系。
此外，在处理子句时可能会遇到一些与当前上下文无关的信息，在这种情况下建议特别关注那些在语境中具有关联性的词语。为了聚焦于那些在情感分析中具有重要权重的词汇并进一步提高分析效果，在注意力机制的设计中采用了将每个关键词的重要性进行加权求和的方式进行处理后
👍深度神经网络+注意力 ：
- 神经网络模型 （如基于双层长短期记忆单元的BiLSTM架构）主要关注于对序列数据中复杂特征模式的学习与捕捉。
- 注意力机制 则致力于通过计算不同词汇的重要性权重来优化语义信息的表示。
- 其一为自注意力机制；
- 其二为情绪相关注意力机制；
自注意力机制通过赋予对子句本身重要的那些词更高的权重来进行应用，并使这些信息词的表示得以聚合从而生成一个与情感信息无关的子句表示。
情感相关注意分为两种类型：
- 情绪导向注意
- 候选人导向注意
情绪导向注意的应用范围得到了显著扩展。它决定了情感从句是否应聚焦于候选从句或全文中的某个关键词。
的情感子句，键是表示为
的候选原因子句中的每个词，并且值与键相同。
衡量候选短语的第j个词与整体情感子句的关联程度，并采用以下公式计算新的原因子句表示：
除了上述一般形式之外, 研究者还试图通过扩展情绪引导的注意来进一步提升其应用效果. 他们通过从文档两端出发实现情绪关注机制, 并根据涉及情绪子句的位置将文档分为两个部分. 这一机制能够有效提取对子句语义有重要影响的情感词汇及其相关词汇, 同时该方法还能够识别出与非情绪相关的关键词项之间的注意力分配差异.
与其形成对比的是基于候选人的注意力机制，并且这种机制通过增强情感表征来影响候选子句（或全文）的情感关注方向
基于情感分析涉及多个方面的情况而采取了联合学习方法的策略。该研究团队开发了一种结合情感类别和原因识别的联合学习模型作为研究方案的一部分。该方案将两个子任务作为相互支持的任务来处理。
2.2 子句间编码器
基于语篇理论的分析下，在线文档应具备整体意义协调性，并在整体意义上保持一致性。
类似于子句内编码器，深度神经网络被应用于捕获多个子句之间的信息。
- CNN能够识别出不同的情感关联这一过程的关键在于分析情感上下文对语义表达的影响机制。
- 在 分析 子 clause 的层次上应用 BiLSTM 和 BiGRU 能够有效识别 各个 子 clause 之间的语义联系。基于此 foundation 的 注意力机制则负责 对每个 子 clause 赋予相应的 权重。
以Xia等人提出的研究为基础，在该模型中采用了一种改进型的RNN-Transformer架构（RTHN）。
- 通过引入相对位置编码和全局预测标签来使用Transformer架构。
- 标准的Transformer架构通常由多个层构成。
- 在该模型中, 输入形式为子句表示
和位置嵌入
的和。
- 多头自注意机制执行如下。对于每个子句
，存在查询向量
、键向量
和值向量
。
、
和
分别是查询、键和值的可学习权重矩阵。
- 自我注意力学习一组权重
，其测量所有输入子句回答查询 q 的程度：
- 输出是所有子句的值的加权和，如
一个全连接前馈网络（FFN）紧接着一个注意层，在其输出上施加归一化处理。具有这种结构的层会被连续地被堆叠，并且它们同时执行特定功能。
表示索引。
前一层输出用于构成具有平均全局预测嵌入的下一层输入这一角色；其中该平均全局预测嵌入是由前一层各个位置上嵌入层对应的预测标签取均值得到的一种表示方式。这种设计使得编码器能够更有效地捕捉到序列中的长距离依赖关系和复杂的语义信息。最终得到的状态向量经过进一步计算后形成了系统的最终表示结果。
输出内容
在子句间编码器中运用注意力机制时，在这种架构中每个子句的常规表示仅仅是一个数值表达式来描述所有子句特征。
Li等人采用了基于词汇和基于短语的关系机制来处理文本中的关联性问题。
在基于单词的上下文中进行关联时, 每个短语会从文档中提取出n个相关的上下文特征。
这些特征通过注意力机制整合生成对应的短语表示。
Hu等人提出了一种用于捕捉文本层次信息的方式, 即将候选原因短语会被[BERT] [CLS]标记所编码。
该机制能够有效地识别出不同类型的关联关系, 并将其组织成有意义的信息结构。
除了语义关联外，在处理复杂信息时，默认情况下还需要关注文档的层次结构。
通常情况下，在处理信息时, 我们需要设计能够充分捕捉子句与其文档结构之间关系的信息提取器。相较于仅关注单个任务的传统模型而言, 在构建层次化架构时表现出了显著的优势。在这一过程中, 在处理多个任务时可以通过引入多任务学习框架来提高效率。例如, 在自然语言处理领域中,Li等学者已经提出了情感原因关键词提取（ECK）的方法, 该方法通过在每个层次上引入特定机制来提升其性能
2.3 规则和特征
虽然基于特征的方法在效率上不及深度神经网络方法, 但这并不意味着语言特征的价值就无足轻重. 在连贯文档中, 子句组织不仅提供了独立的信息, 更为重要的是它揭示了解构与重构的关系. 许多深层神经网络模型利用语言特征来进行原因提取. 例如Xiao等人提出了两个具有不同初始化设置的语言模型用于注意机制的设计. 特征提取器通过计算每个词的重要性权重, 得出面向子句的理解表示. 表3展示了ECE框架中所采用的关键特性. 相对位置作为最常用的特性指标, 下文将首先对此进行讨论.
2.3.1 相对位置
相对位置是情绪相关的核心指标。通常情况下，在情绪相关基准语料库中... Ding等人的实验研究表明... 情绪位置信息在深度学习方法中的准确性较高... Yan等人通过交换最可能和最不可能的原因子句的位置生成对抗性样本... 这些受攻击的模型在性能上出现了显著下降...
为了实现位置信息的编码，在Zhang等人的基础上
2.3.2 其他功能和规则使用
重要的排序特征不仅可以指示某个子句在上下文中所处的重要地位，并且能够揭示该子句在特定情感情境下的关联性。
这些特征可分为情感无关特性和情感相关特性。
- 识别与原句无关的特征以捕获每个子句的关键信息 ，例如 子句长度等指标以及相关的术语标记 。较长分句能够提供更多语义细节，并能激发读者的情感体验。
- 基于原因的情感分析更倾向于关注 名词、动词以及形容/副词 在短语中的分布情况。
- 此外，在以往的研究中发现 ， 不同类型的语言线索往往能够精准对应特定的情绪事件 。这些关键提示要素包括因果连接用语 、感受动词 以及情绪形容/副词语素等。
基于情感的特性描述了特定情感与其候选原因之间的关系。如前述提及的情感特性和其候选原因间的关联性展示了词嵌入相似性和主题模型相似性。
该团队开发了一种基于预训练ListNet排名器的方法来提取特征，并用于改进排序模型。
他们采用了潜在狄利克雷分配（LDA），这是一种主题模型方法以探索不同数据集之间的潜在联系。
除此之外，在深度学习方法中使用语言规则作为一种辅助手段；当在一个规则组成部分的情况下，子句可由情感因素构成。
2.4 外部信息
外部信息是非文件辅助信息的一种形式。以下是注入外部信息方法的主要概述：首先，在子句内编码器中应用外部情感数据训练词汇嵌入模型是主要方法之一；其次采用基于情感标签的数据驱动策略也是可行方案；最后通过引入领域特定知识构建优化模型参数是第三种常用手段
- i）通过整合外部情感知识与无监督语料库优化嵌入训练过程，并采用情感词及其同义词作为重点分析对象；
- ii）基于外部情感知识对预训练词嵌入模型进行微调；
- iii）对预先训练的语言模型进行进一步优化和微调。
此外，在子句间编码器方面，BERT是一种整合外部信息的方法。编码器同样可以采用外部常识知识图来构建子句间的关联。Yan等人提出了知识感知图模型（KAG），其中知识边依据外部常识知识图（ConceptNet）。
2.5 预测层
ECE可被定义为多标签分类、排序或序列标签问题。输出是根据具体任务而定。通常情况下，每个子句的最终表示将被视为输出层（主要为前馈神经网络（FFN））的输入。子句最终表示可能包括词嵌入形式或其他编码器输出结果，并依据所采用的具体编码策略而有所不同。若模型不采用分层架构且忽略子句间关系，则子句内编码器产生的表示将直接用于预测层输入。在FFN预测层之前依据特定任务需求添加额外一层以捕获更多特征是常见的做法，例如使用CNN对分类问题进行处理或使用GRU处理序列标记问题等。ECE主要被定义为分类问题，在这种框架下softmax分类器将输出每个子句是否符合原因子句的标准概率值。
是第 i 个子句的最终表示，并且R1是预测结果。
和
是一个可学习的参数。当ECE被定义为排序任务时，在该场景下输出层试图预测每个候选子句与给定情感的相关性。排名模型通过回归和LambdaMART计算出预测得分。其中序列标记的主要定义由跨度级别的ECE来实现... 其中{B,I,O}标签分别表示情感原因跨度的不同阶段：{B}表示起始阶段,{I}表示中间阶段,{O}表示外部阶段.... 根据我们前面讨论的技术架构，在表4中我们介绍了几个具有代表性的作品, 包括它们各自的独特设计以及所采用的不同模块组合.
3 ECE的变体
当前已有大量研究关注子句级情感原因提取（ECE），然而在现实中仍存在诸多应用场景尚未得到充分满足。为此提出了几种变体形式。具体而言，在手动标注之前无法直接提取情感信息；而在真实世界中通常情况下原始文本缺乏人工标注信息；为此提出了一种能够从未标注的数据中自动识别出情感及其相关的原因因素（ECPE）。此外，在某些特定场景下子句级的情感原因提取可能不够精确或模糊不清；而在复杂情境下则需要通过跨层级的方法来提高分析精度；最终将主要聚焦于ECPE这一技术并探讨跨层级任务的发展方向；在此基础之上我们将详细阐述跨层级任务的一致性和差异性；此外还需要简要介绍另一种相关技术——CECEF.
3.1 情感原因对提取
作为最具影响力的变体类型之一
- （i）首先 在分析过程中 在ECE之前进行情感预测 这种做法可以被视为一种合理的策略 其中其原因提取与ECE一致 但作为一个分两步的方法 不可避免地会引入更多不确定性 主要源于错误传播的影响
- （ii）第二 ECPE还可以同时预测情绪与原因 在这种情况下 由于一个行为及其引发的情绪往往是紧密相连的 仅仅单独地从行为中推断出其引起的情绪缺乏理论基础 即使系统在情感和行为方面都取得了相对准确的结果 理解它们之间的因果关系仍具挑战性
Xia团队开发了ECPE分层网络的两阶段传输机制（TwoStagePipeline）。但该方法面临信息传递问题，在优化方面效果有限（Challenges in Optimization）。为此，在过去的一段时间内逐步发展出一种全连接模型（EndToEndModel），成为主流方案（Mainstream Approach）。研究者们通过结合多种注意力机制与深度学习技术（Attention Mechanisms and Deep Learning），能够更好地捕捉文本信息以提升任务性能（Enhanced Task Performance）。深度神经网络作为主流的技术手段（Deep Neural Networks），其优势在于能够通过语言特征辅助完成各项任务（Language Feature Assistance）。最近的研究表明，在ECPE等众多自然语言处理任务中（Various NLP Tasks），BERT预训练语言模型表现优异（Outstanding Performance）
如图6所示的技术架构框图中可看出,该系统需通过语义分析机制从文档中提取关键信息,随后进行情感识别及其引发的具体原因识别工作.研究团队将整个功能模块划分为情感识别子系统、原因识别子系统以及因果配对过滤器三个主要模块.其中,情感识别子系统的功能是完成对文本的情感倾向分析;原因识别子系统的任务则是解析出影响事件发生的主要因素;而因果配对过滤器则负责将候选的情感-原因配对进行筛选,最终输出具有最高置信度的真实因果关系对.为了提高模型性能并增强算法鲁棒性,在数据预处理阶段引入对比学习策略,以便能够从原始数据集中生成更具区分性的对比样本集.
我们命名为ECPE的情感分析任务是从文档中提取情感及其相关因素的过程。一个包含n个子句的文档D的目标是找出相关的情感-原因配对集合。
，其中
是一个情感子句，而
是对应的原因分句，在编码前的阶段中, 基于文本作品会进行独特的提示模板的设计, 并明确地建模多个分句之间的关系. Cheng等人将其情感提取模板设定为静态形式"Find emotion clauses", 而他们则将情感特定原因提取模板设定为动态形式"Find cause clauses given emotion clauses".
”，其中
对应于第 i 个子句的内容。郑等人开发了四套不同的子提示模板，并将其整合成一个统一的设计框架，在多种预测场景中使用。
3.1.1 子句内编码器
ECPE类型的子句内编码器在功能上类似于ECE架构。它由两个核心组件构成：词嵌入层与感知编码模块。相较于ECE系统，在ECPE设计中并未对情感信息进行标注处理。因此，在构建词嵌入层时主要采用了不依赖情感信息的技术手段进行词嵌入。具体而言，在这种架构下采用了随机初始化策略以及基于预训练语言模型的通用词向量方法（如word2Vec、Glove等），并结合了BERT预训练语言模型的强大语义捕捉能力（其优势在于通过预训练与微调相结合的方式动态生成语义表征）。值得注意的是，在此过程中特别针对传统词嵌入方法存在的多义性问题进行了优化处理。此外，在编码器的设计中还引入了上下文信息积累机制：通过整合每个子句内部所有词语及其周围的上下文信息来构建表征；在此基础上分别采用自注意力机制（si）与其他深度学习模型（如BiLSTM、CNN等）协同工作以生成类似于ECE架构的条款表示形式
和
。但这种方法更常用于子句间编码器。
3.1.2 子句间编码器
该编码器负责从文档中提取多个相关子句的信息。由于涉及情感与原因两个核心目标，在进行处理前通常会分别设计情感专门化与原因专门化的编码器。由于情绪识别与原因挖掘之间存在相互影响的关系，在实际应用中若先完成情绪识别工作则有助于推导出潜在的原因线索；反之亦然，则可能有助于更准确地识别潜在的原因线索。基于多任务学习的方法已被开发出来并验证了其有效性。该编码器的输入是
（如果已经生成了任务特定的表示，则
和
除此之外，在不依赖两个特定编码器的情况下能够预测统一标签的情况我们将探讨这一情况
在子句级别的编码器设计中，并非仅仅依赖于现有的技术手段，在任务目标下采用了两个专门的模块。这些模块分别从情感倾向和因果关系两个维度提取上下文信息，并结合BERT这一先进的预训练语言模型进行优化。值得注意的是，在子句级别除了BERT之外，还使用了基于长短期记忆网络（BiLSTM）和 gated recurrent units（GRU）的技术基础。这些基础组件经过优化后能够通过引入注意力机制进一步提升模型性能。具体而言，在具体实现过程中,Sun团队开发了一种双层注意力机制框架,该框架通过分别关注候选的情感倾向和因果关系来构建上下文理解模型,并在此基础上实现了对文本核心意义的有效捕捉。随后,Chen团队则提出了基于分组过滤器网络的方法用于任务相关的特征提取,这一方法能够在有限计算资源下实现较高的分类准确率的同时,保证了整体系统的可扩展性。尽管Transformer架构在性能上表现出色,但其计算开销较大,因此我们在此基础上进行了多维度优化以降低运行成本的同时保持了较高的识别准确率水平.此外,尽管Transformer架构在性能上表现出色,但其计算开销较大.尽管如此,Dong团队仍然成功实现了对该架构的有效优化.
该研究者也关注多任务学习方案以利用情绪与原因提取间的相互作用。该研究者考虑了两个分别针对特定任务设计的编码器。
- i）一个编码器不仅将先前的子句表示
*ii）一个编码器基于两个任务特定表示形式来用作输入数据。
此外还会将另一个任务的预测分布或者两个任务的预测分布用于传递到编码器中。
和
，而情感编码器仅采用
作为输入。
对于第一种类型的问题，在注入预测分布的过程中，编码器模块会循环使用多次。例如，Hu等采用了双层Transformer架构，并将其重复堆叠以提升性能；而两者的融合不仅包含了预测的情感色彩以及因果关系标签，并且还特别针对情绪提取部分增添了相对位置信息；Li团队则将不同粒度的特征信息分别注入到情感特定和原因特定编码器中；此外通过多轮推理逐步精确定位情绪、原因及其关联关系；最近Shang等提出了一个模块化设计的交互网络框架；他们通过可训练偏差项对位置偏移进行建模并结合标准自注意力机制来优化相互位置感知；随后又引入了一种相互细化机制来动态平衡两任务专用编码器之间的信息传递效率
除了专门用于情感分析和原因识别的编码器外，在完成主任务的同时（即关系预测任务），这种辅助联合编码器有助于存储更多的特征信息。在完成子句间的编码后（即Huang et al.提出的阶段），黄 et al.则在随后提出了一个针对子 clause 内部跨越性的表示方法。近年来,Liu等人提出了一种基于‘pair’概念的新联合编码方法,并构建了一个包含这四个类型的图结构:情感 sub- clause 节点,原因 sub- clause 节点, pair 节点以及 document 节点.通过添加 pair 节点,该方法可以直接与小句子进行交互,从而捕捉到相应的情感 sub- clause 和原因 sub- clause 之间的因果关联性. document 节点能够向其他 node 提供全局信息,并且以类似枢纽的作用与其他 node 进行交互.其他处理 pair 的模块将在‘pair 表示’部分进行详细讨论
foreseeing: after encoding, multiple tags can be employed to foresee emotional and causal clauses. If the system outputs pairwise emotional and causal labels, the ECPE mechanism will be implemented here. If only simple, unpaired emotional and causal labels are produced, then the subsequent pairing and filtering mechanisms become essential.
当存在需要通过统一标签来指示配对信息时，在标记处理阶段完成配对操作。通常采用序列标记解码器结构，并将两个任务的表示进行整合成简洁语句形式。这种统一性标签能够解决二进制分类器无法区分不同情感类型的问题局限性，在实际应用场景中显示出较好的适用性效果。例如，在特定领域分析特定情感类型可能原因时具有显著优势。Chen等人基于因果身份标签（分为情感状态如'快乐' '悲伤'等及其类型）与情感类型标签（具体表现为'快乐' '悲伤' ... 或者无明显状态）相结合的方法进行研究。对于标记过程而言，他们提出了一种面向目标的序列解码器模型，在该模型中将目标子句表示、前一单元解码的隐藏状态、前一子句的标签嵌入以及各子句的上下文信息作为输入特征向量进行融合运算。Fan等人则在情绪因果关系中标记方法上进行了创新性改进，在其研究框架下进一步提升了模型性能表现
近年来的研究表明，在处理文本情感分析任务时，许多系统采用了管道化设计以优化性能。针对严重的标签稀疏问题,Zhou等研究者以及Cheng等研究者分别提出了联合训练但流水线推理策略,并取得了显著效果。其中,Zhou等人的模型架构包含两个主要模块:首先基于情感提取机制,随后利用情感子句进行原因信息抽取;接着再利用这些原因子句进行第二次的情感信息抽取,从而得出最终的情感与原因分析结果。而Cheng等人的模型则由两个主要模块构成:第一阶段则包含了情感信息抽取与基于情感的信息推导过程,第二阶段则专注于从已知的情感语义中推导出潜在的原因关系;这种设计使得整体流程更加高效且易于实现。值得注意的是,Zhou等研究者与Cheng等研究者均采用了相似的技术路径来进行标签稀疏问题下的语义分析,并在这一过程中引入了专门的情感词典来进行过滤性操作,其中每个有效的情感子句都应至少包含一个特定的情感词汇以确保筛选效果的有效性。在此基础上,Qiu等研究者直接采用了管道框架,并将整个系统划分为两个独立的功能块:一个是情绪预测模块,另一个是面向情绪的原因推断模块;而Chang等研究者则提出了另一种双阶段方法:第一阶段则是同时完成情绪信息抽取与潜在关系推导任务,第二阶段则专门负责从已有信息中挖掘具体因果关系;这种架构设计使得整体系统的性能表现更为均衡且易于扩展
3.1.3 配对和过滤器
在该模块中，每个短语已被预测为情感或原因的概率分布。如果这些预测标签不涉及情感因果关系，则需要从候选情感短语集合E中选择的小号与候选原因短语集合C中的相应的小号进行配对。这些配对策略主要包含三种类型。
- i）笛卡尔积；
- ii）完全配对；
- iii）滑动窗口。
在早期研究文献中探讨过将E与C进行笛卡尔乘积作为分析手段。每个被标注为情绪状态的子句都与其对应的被标注为引发因素的原因子句配对。然而，在E或C之外的部分可能涉及的因素会被排除在外。研究者随后拓展了分析范围，在文件D中考察了所有潜在的关系。这些配对关系构成了一个n×n矩阵结构。考虑到相对距离的重要性，在这种矩阵分析框架下应用滑动窗口方法时，则会将每个子集中的各个个体划分为情感状态或引发因素，并认为只有位于同一滑动窗口内的相关个体才可能存在因果联系
配对表示法：为了将特定于情感的表示和特定于原因的表示（表示为
和
）合并成对矩阵，提出了各种方法。使用连接两个表示和相对距离的特征向量是一种简单的方法，例如
。
衡量两个子句之间的间距，并进一步探讨如何优化这一间距的度量方式。此外，还可以进一步优化这一间距的表示方法。Wei等人通过采用核函数导向的相对位置编码来增强对相对位置关系的建模能力，并通过模型捕捉不同相对位置间的相互作用关系以取得较为理想的效果改进。Song等人则在这一领域实现了Biaffine变换的应用效果，请问
。
和
是仿射变换中的一个可学习变量，在处理相对距离时发现人们通常会在表达情感之前先说明原因因素；因此他们采用了不对称的位置权重矩阵而非传统的对称配置。Shang等研究者则运用双重正则化方法综合考虑了两种方向上的预测关系（即从"情绪"到"原因"以及从"原因"到"情绪"两个方面），并将其综合结果作为最终的情感配分依据
通过滑动窗口框架来处理策略时
上述策略分别对待每一对。为了利用其他对，一些研究集中在实现情绪-原因对之间的相互作用。Ding等人将情感从句和原因从句表征、它们的概率分布和位置特征连接起来。他们进一步设计了一个2DTransformer，包括一个多头2D自我注意机制和一个位置前馈网络，以有效地实现情感-原因对之间的交互。他们提出了三种类型的变压器：标准Transformer，窗口约束Transformer和十字路口Transformer。相反，Chen等人使用对图来考虑在大小为2的窗口中约束的对。每对的节点表示为
。每个情感子句对应于由三种类型的边构造的图：自环、距离1和距离2。距离嵌入被添加到每个对的最终表示中。为了利用子句对的更细粒度的特征，Yang等人采用胶囊网络并聚类每个对的关系。
过滤器：经过训练的逻辑回归模型主要应用于检测每个候选对。这些候选对会被标记为1（表明存在因果关系）或0（表明不存在因果关系）。softmax函数也被广泛使用，并常与条件随机场解码器配合使用以提高分类精度。Song等研究者采用了双仿射注意力机制来计算分数值。Wu团队开发了一种基于情感与原因关联性的成对标记系统以分析数据趋势
3.1.4 损失
在管道系统的构建中，每一阶段都是独立训练的模块，并各自承担特定的任务。每个模块都包含自身的损耗指标作为性能评估标准。其基本形式通常表现为预测输出与真实标签之间的交叉熵损失。然而，在端到端系统中为了优化情感维度的信息提取效果，则需要同时考虑情感特定表示与原因特定表示两种类型的信息输出需求。因此，在传统的主目标函数基础上引入情感和原因双重监督信号，并将这些辅助任务（情感预测与原因预测）的损失项将以加权求和的方式整合到整体目标函数中。为了进一步提升模型的空间感知能力,Fan等人提出了一种范围调节机制,其核心思想是通过设计一种可调节参数空间范围的方法,使得模型能够更好地适应不同位置的情绪-原因关系分布特征。此外,采用对比学习策略能够有效提升模型对情绪-原因关系的学习能力,因为这种学习方式能够强化相同类别样本之间的相似性信号并弱化不同类别样本之间的干扰信息。Chen等人则提出了另一种创新性的任务间对齐机制,这种方法的核心在于通过引入KL散度损失项实现情绪-原因对提取信息与两个辅助任务结果的有效对齐
3.2 跨度级别任务
通常情况下，在文档的情感分析领域中，子句级实体链提取方法（ECE）被广泛应用于情感原因分析任务中。然而，在某些特殊场景下，这种方法可能会出现模棱两可或不够精确的情况。例如图7所示的一个示例中可以看出：第8句是一个原因句（因为它包含了'cared and helped their family find Xiao Xinxin'的原因），它触发了'thanks'的情感表达。然而其主要成分'He hoped... who'并不能准确反映导致感谢情感的根本原因所在。基于上述背景研究可知，在文献中早期关于情感分析的研究多集中于基于特征工程的方法，并且倾向于采用次优设计策略来解决相关问题[1]。而近年来Li等人则开始关注于如何准确检测并定位情感引发的原因文本跨度边界的问题[2]
Ghazi等人在2015年提出了一个跨度水平ECE（SECE）任务，并开发了一个CRF学习器来识别情绪原因跨度。然而，在早期的研究中主要依赖于特定的设计功能，并未有效推广这一技术。近年来的研究者们基于深度学习技术提出了一个多任务学习框架，并将跨级情感分类器定义为两个子任务：答案标记与答案边界检测。Li等人则通过两种不同的方法来识别情感原因跨度边界：
- i）序列标记；
- ii）开始/结束位置检测。
而当任务设定为定位问题时，则使用点网络逐步生成跨越区间的起始位置与终止位置。Li等人开发了多样化的序列标记模型以显著提升性能。Li等人采用基于BERT的图神经网络架构，在性能上优于以往方法。通常情况下，在处理跨度级任务时所使用的编码器架构与处理短句任务时所使用的架构具有相似性；然而，在这种特定的任务类型中预测的目标标签存在显著差异性。将该问题归类为序列标注问题时，则需基于令牌表示来预测输入序列的整体标签；然而在将其定义为定位任务时，则需从输入中识别并确定事件发生的时间区间起始点和结束点。
对于SECE而言，在具体情感分析中实现精准的情感原因片段提取不仅要求研究者具备透彻的理解能力，并且能够深入探究每个词汇在其情感表达中的独特作用；同时还需要基于这种理解能力开展相应的语义推理工作以辅助分析过程。然而，在实际应用中难以精确界定其边界范围与适用范围。李等研究者于2021年提出了一种新型的情绪原因关键词提取方法（Emotion-Driven Contextualized Keywords, ECK）。该方法是一种微粒度的情绪分析任务目标框架，在具体实施过程中旨在识别出在短语中对情绪激发有显著贡献的关键字或词语；相对于粗粒度的子句级任务而言,ECK具有更高的区分度,但相较于传统的SECE而言则更为简洁易行. ECK的核心在于建立语言符号与其所引发的情绪反应之间的关联机制,并在此基础上充分挖掘短语内部各成分的作用价值.值得注意的是,该方法并不强求必须囊括所有可能影响情绪的因素.李等提出的基于短语级表示学习的方法,通过构建专门的情绪触发短语表征来强化原始Emotion-Driven Contextualized Keywords（ECK）模型的能力;随后又进一步通过引入情绪标记标签这一监督信号来提升模型对原始短语级任务表现的支持能力.
跨度级别的ECE并非唯一性跨级任务。为了获取更为精确的原因以及更加细粒度的信息,还提出了跨级ECPE,其适用于更为广泛的场景,无需人工标注。在跨级别ECPE与ECE之间所存在的差异,与两个子句级别的任务间的差异具有相似之处
3.3 会话情感原因提取字段
我们上面探讨的这些作品都涉及ECEF这一技术框架。近年来，在探索如何从对话中提取情绪表达的原因方面展开了积极的研究工作。2020年时,Kristan等人最初将ECE任务扩展至对话领域，并提出一个新任务,即从对话中识别特定情感话语所对应的情感原因片段,并发布了RECCON公共数据集（Recognizing Emotion Cause in Conversations）。该系统可能在情感支持系统以及移情对话系统等领域发挥潜在作用。
一般来说，ECEF在文档上和ECEF在会话上有两个主要区别。
- 1）虽然这两个任务都与情感的因果推理有关，但文档上的ECEF与明确表达的情感有关，其中情感子句包含明确的情感标记，例如“失望”，“快乐”。相反，会话的ECEF不需要明确的情感表达。例如，从句“我做了什么？”表达了“惊讶”的情绪。它属于内隐情感分析。
- 2）会话和文档是两种完全不同的文本格式。与传统的文档相比，会话数据具有独特的属性，如非语法性，不连续性，上下文依赖性，以及对话者之间的混合动态。相比之下，文档由几个基本相等的子句组成，因此对前后子句的依赖性不像会话中那样强。
在对话中，“情感”指的是作为“情感依据”的部分文本内容，在这一体系中体现出说话者的情感状态中含有特定的情感元素。“触发因素”指的是作为引发某种结果的情感因素的部分文本内容，在这一体系中表明说话者感受到某种特定的情感依据的原因。他们提出了两个新的认知活动：因果跨度提取（CSE）与因果情绪蕴涵（CEE）。其中CSE是指识出目标情绪话语所涵盖的范围这一认知活动而CEE则是指确定候选话语对是否具有情绪蕴涵性这一认知活动这两项认知活动分别是在有对话历史条件与无对话历史条件下的认知活动设计而成并借鉴问答系统的方法实现了类似于SQuAD的任务解决过程同时构建了一个基于Transformer架构的基础模型（采用RoBERTa-base版本与RoBERTa-large版本）。研究者指出将CEE作为一个独立的情绪话语对分类问题的方式忽视了话语历史中的情绪信息以及说话者的相关信息特征因此提出了一个双流注意力模型来有效模拟说话者的情绪影响其由三个模块构成：第一层是情绪注意网络第二层是说话者注意网络第三层是交互作用机制模块
在推理过程中均采用了黄金情感注释。然而并非基于现实情况的一个假设,Ashwani等人提出了一种基于端到端架构的三任务联合学习模型,该模型能够同时提取了情感状态、触发条件及其因果关系,其功能在于捕获其功能在于捕获基于情感话语表征的情感信息及其引发的情感事件之间的关联性,从而实现了Emotion Entailment（CEE）这一辅助学习目标。此外他们还使用了一个基于RoBERTa模型,并在CEE中加入了BiLSTM模块以便更好地理解其中的功能机制与潜在规律
为了建立充分的对话背景模型并实现有效的情感原因推断,Li团队开发了一种基于知识增强的有向无环图（DAG）网络,该网络通过整合社会常识知识(CSK),结合COMET框架,并增强了对中性情感因果语义的理解能力。研究表明,在目标话语设定为中性语义时,在数据集中处理更多负面非因果关系。他们通过构建一个具有以事件为中心的边和社交互动边的新会话图来引入CSK,从而填补了候选话语与目标情感语义之间的推理空白。进一步而言,Zhao团队则开发了一种基于事件驱动的知识感知交互网络,该网络能够检索由ATOMIC框架提供的关键线索,从而辅助提升情感识别能力
与问答设置不同的是，在对话系统中Li等人提出了另一个名为对话中的预防-原因对提取（ECPEC）的任务。与传统的ECPE相比，在该系统中他们旨在从会话中提取情感-原因对信息，并构建了一个专门的数据集ConvECPE用于该任务的训练与实验研究。基于此数据集他们提出了一种两阶段的学习框架：系统首先识别出情感与原因的相关信息，并在此基础上构建并行化的特征抽取机制以获取有效的实体-关系对匹配结果。具体而言，在第一阶段系统会自动识别出对话中的情感和原因相关的话语内容；然后在第二阶段通过并行设计将两个特征抽取模块整合在一起：一个是基于实体-关系配对机制的过滤器另一是基于笛卡尔积策略生成候选实体-关系对的过滤器；最终实现有效的情感与原因相关对的信息提取
3.4 其他变体
小王团队开发了一种从在线"微博"中提取社会情感原因的任务；该任务的核心目标是通过分析包含特定关键词的文档来识别潜在的社会情绪；然而，在线文本中的这类关键词往往不会直接呈现。
此外，在特定语境中提取的情感与原因子句之间的因果关系往往具有局限性。Chen等研究者提出了一种 novel的任务——条件因果关系分类（CCRC），用于检测情感-原因对之间的因果关联。该分类方法旨在评估输入的情感与原因对在不同情境下的有效性。随后的研究者引入了图形注意力网络模块来提升句子表示能力及模型关键特征。他们将该任务分解为多个子任务后，在统一框架下解决了多种相关问题。
Turcan等人将其情感相关任务归类为分类任务，并将其原因相关任务定性为跨步检测而非基于ECPE的情感提取方法。此外，在知识表示方面，他们的创新之处在于采用了自适应的知识模型COMET（即Commonsense Transformers），并成功地将其应用于常识推理中。
3.5 数据集和性能
对于ECEF而言，在可用资源方面十分有限。情感原因提取不仅依赖于复杂的语义理解能力，并且还需要深入的逻辑推理能力来完成任务。构建高质量的情感分类资源通常需要大量的人工干预工作，在早期的研究阶段由于缺乏公开的数据支撑只能自行开发数据资源包如中文领域常用的[9]来源的城市新闻数据库、中文微博网络语料库以及日文领域的新闻数据库等。近年来针对日语社区也开发了专门的情感分类资源包如Yada团队提出的三种类型的情绪驱动日文资源库等。其中NTCIR-13情绪原因分析任务被提出并发展成为评估情感计算技术的标准评测体系（此处所指的情绪原因分析ECA与本文讨论的主要对象ECE具有完全相同的内涵）。为了保证评测工作的科学性研究者们特意设计并构建了一套人工标注的情感计算标准评测基准集合如中英双语言本结合的城市新闻数据库等成为该领域的重要评测标准之一
因研究主要集中在基于公共数据集的ECE与ECPE这两个领域，在本节中我们将系统阐述与深入探讨各模型在这些任务中的表现。
3.5.1 ECE
数据集：基于NEWS SINA 2的中国城市新闻（2013-15年），于2016年提出了ECE最受欢迎的数据集。该数据集共计包含2105个实例。其中97.2%的事例仅包含一种情绪诱因而只有约2.8%的事例涉及两个或以上的情绪诱因。此外这些实例还显示出显著的位置偏差现象如图8所示。表8展示了各原因位置分布情况从中可以看出约85.55%的情感原因是通过情感从句与从句之间的邻接距离小于等于一来体现的这一现象表明前面子句更容易成为其原因这表明了位置对ECE的重要性。值得注意的是目前最流行的英文ECE数据集是NTCIR-13该数据集是由NTCIR-13 ECA任务从英文小说文本中提取出来的。
（2）性能：在上述中文和英文两个数据集上，不同型号的性能列于表IX。主要有三种不同类型的模型：基于规则的方法、基于特征的方法和深度神经网络方法。按直线划分，第1组包括基于规则的方法和基于常识的方法，前者使用手动定义的语言规则，后者使用手动定义的语言规则。RB的查准率高，查全率低，CB的查准率高，查全率低。它显示了常识性知识的重要性。与RB相比，RB+CB在F测量上实现了1.27%的改善。然而，这些方法需要大量的人工操作来考虑具体的语言，甚至是各种文本风格，这限制了它们的通用性。第2组包括基于特征的机器学习方法。RB+CB+SVM通过规则和常识知识训练ML分类器。其F1的表现优于RB+CB。多核方法由于考虑了上下文信息，因此具有更高的性能。我们还可以看到，LambdaMART的性能比该组中的任何其他方法都要好。它的性能得益于许多有用的特性，包括与情感相关的和与情感无关的特性。第三组包括深层神经网络方法，我们根据BERT的预训练语言模型的使用将这一部分分为三类。在t中，F1优于RB+CB。多核方法由于考虑了上下文信息，因此具有更高的性能。我们还可以看到，LambdaMART的性能比该组中的任何其他方法都要好。它的性能得益于许多有用的特性，包括与情感相关的和与情感无关的特性。第三组包括深层神经网络方法，我们根据BERT的预训练语言模型的使用将这一部分分为三类。表中，“w/o BERT”表示模型不使用BERT。“BERT”表示模型在其整个网络中使用BERT。“跨度训练+ BERT”表示模型在跨度级ECE上使用BERT进行训练，但在子句级ECE上进行测试。在“w/o BERT”子群中，CNN和BiLSTM能够捕获复杂的潜在语义信息。ConvMS-Memnet有效地捕获了更深层次的上下文信息。注意机制有助于将注意力集中在更重要的单词和从句上。分层网络模型融合了不同层次的信息。使用预测标签进行迭代被证明是有益的。由于使用了BERT的预训练语言模型，“BERT”的子组实现了更高的性能。“跨度训练+BERT”小组尝试进行跨度级ECE。模型在跨度级进行训练，在子句级进行测试，以获得表IX中的结果。这些模型的性能优于其他在子句级上训练和测试的子句级方法。基本上，提取的原因范围可以提高其在子句级任务上的性能，因为集中于范围提取可能较少受到子句中与原因无关的部分的影响，因此可以帮助定位真正的原因。
在NTCIR-13英语数据集上进行研究时发现,该模型主要针对NTCIR-13英语数据集中的英语文本进行ECE评估,其性能详细记录在表X中.研究采用了两组不同的方法:第一组采用的是机器学习方法,第二组则采用深度学习方法.其中,深度学习方法能够更好地理解潜在语义信息,并显著优于第一组的方法.然而,尽管某些模型在中文数据集上表现出良好的效果,但在英文数据集上的表现却大打折扣.这表明现有模型无法很好地适应不同语言特征所带来的变化,进而实现良好的泛化能力.对于英文领域,Oberléa ndertoken等人证明了在基于子句结构和基于令牌序列标记评估中,基于 getToken序列的方法具有显著优势
（3）跨层级的情感原因提取：跨级ECE作为一个更为细致的任务，在难度上也更为显著。表XI列举了不同模型下的具体性能数据
基于现有模型的最佳性能评估显示，英文版本在跨级解方面优于中文版本。由此可见，两者的适当处理单元存在显著差异。欧洲经委会在界定问题时应分别对待这两种语言。
对于情感原因关键词提取的新任务，模型的性能列于下表XII中。
3.5.2 ECPE
（1）该数据集基于Sina新闻平台构建了一个基准ECE数据集。该研究团队由Xia等人组成并开发了ECPE这一公共可用的数据集用于情感分类与情感分析任务的研究。每个文档仅包含单一的情绪类别，并对应一个或多个相关的理由。这些因果配对被标注以便更好地完成该研究的目标。不同情绪与原因配对数量分布的比例在表13中展示。
（2）性能方面：基于ECPE构建了多种模型，并在表XIV中展示了其结果显示。在过去的文献研究中，默认假设数据分割比例为统一值可能并不合理；为此,Ding团队采用了具有显著效果的十折交叉验证方法（9:1划分），用于评估模型性能；而Fan团队采用了8:1:1的比例划分语料库,并将其分别用于训练、开发和测试阶段
第一组和第二组均属于深度学习方法，并且它们是基于BERT预训练语言模型进行分类的
基于ECPE框架,Hu等人从互信息（MI）的角度深入研究了有效与无效情绪-原因对之间的差异性特征。他们首先将ECPE转化为一个概率问题,通过基于BiLSTM的神经网络模型计算出情感子句和原因子句的概率分布,并运用概率公式推导出两者之间的联合概率分布。随后,他们计算了不同的情绪-原因配对及其互补配对在联合分布中的互信息值,发现情绪-原因配对与非情绪-原因配对在初始训练阶段的平均互信息值相近,但随后呈现出显著的差异:第一,相对距离较小的情绪-原因是相关联的程度较高;第二,在相同相对距离条件下,存在更多的情绪驱动因素关系;第三,随着相对距离的变化,这种关联性呈现出动态变化的趋势。
3.5.3 挑战性的数据集
刘等研究者创建了一个名为Coconut Cause的数据集...该数据集中文文献均源自SMP 2020微博情感分类大赛中的疫情相关微博文本...从社交平台如微博上收集了与COVID-19相关的原始微博文本...《微微原因》一书中收录了5,195份不同来源的社会媒体文本样本...这些社交媒体文本样本的语言风格较为口语化...其中一些内容被替换成了'['+特定表情符号'+']'形式...研究团队采用了包括深度学习在内的多种算法模型对上述任务进行评估...实验结果表明，在对比实验中发现现有主流模型在该数据集上的表现略逊于SIMP 2020基准线
3.5.4 CECEF
数据集：基于两个会话数据集IEMOCAP和DailyDialog构建了RECCON，并配备了话语级情感标签。该集合由两个部分组成：RECCON-IE和RECCONDD，在这两个子集中情感标签的内容存在差异性特征。其中，在RECCON-IE中涉及原因检测和因果推理的情感分析任务均较难实现且具有显著挑战性特征；而相比之下，在 RE CC ON-D D 中相关任务的表现则更为简单易行。从统计数据来看，在 RE CC ON-I E 部分中约 40.5% 的对话会在其至少 3 个时间戳的历史上下文中包含情感原因；而在 RE CC ON-D D 部分这一比例仅为 13% 。整个 RE CC ON 数据集合共包含了 1122 个对话（其中 RE CC ON-D D 包含 1106 条对话、RE CC ON-I E 包含 16 条对话），这些对话总计包含了 11769 个话语（其中 RE CC ON-D D 包含 11104 条、RE CC ON-I E 包含 665 条）。此外,Li 等人还基于 IEMOCAP 开发了一个用于 ECPEC 目标任务的 Conv EC PE 模型,该模型包含了共 7433 条话语。
性能方面,Kristan团队开发了两大类子任务,CSE与CEE.他们采用了多种策略生成阴性样本,并设计了三套不同的实验方案,即Fold 1,Fold 2和Fold 3.在第1折中,从对话中排除所有因果语调会生成一个否定样本.结果显示在表XV上.涉及的主要指标有
、
和宏F1。
评估提取QA模型的预测，并在数据中的正例上计算。
表示相对于金标准数据检测阴性样本的F1评分。MacroF1类似于
然而，在所有阳性与阴性样本的情况下进行计算后，并将结果求平均值。根据表XV的数据显示，在CECEF场景中基于直接传递文档上下文建模的方法并不适用。进一步地，在对话场景中，常识知识似乎起到了连接作用
4 展望
在情感分析领域中,深度学习技术已逐渐成为研究的核心方向之一. ECEF任务因其高难度而备受关注,目前的研究主要集中在创新方法以提升性能. 通过对现有工作的梳理发现,神经网络架构的设计对文本理解能力起着关键作用. 深度神经网络通过逐步提取高层次特征来增强对文本的理解能力,并最终实现更高的性能水平. 在这一研究领域中,BERT预训练语言模型凭借其丰富的语义信息储备展现出显著的优势,其性能明显优于其他主流模型. 此外,语言特征的引入进一步提升了模型对语言成分的理解能力. 这种能力通常与神经网络捕获的语义信息相结合,尤其注重位置编码的作用. 多任务学习作为一种新兴的研究方向显示出巨大的潜力,但目前在给定数据集上的实际效果仍需进一步提升.ECE评价指标尚未达到理想水平,而ECPE指标因其更高难度而更具挑战性. 在自动化ECEF技术的发展进程中仍有许多技术瓶颈亟待突破. 期待未来深度学习方法能进一步突破这些限制并完成这一重要目标.BERT预训练语言模型凭借其丰富的语义信息储备展现出显著的优势,其性能明显优于其他主流模型. 此外,语言特征的引入进一步提升了模型对语言成分的理解能力. 这种能力通常与神经网络捕获的语义信息相结合,尤其注重位置编码的作用. 多任务学习作为一种新兴的研究方向显示出巨大的潜力,但目前在给定数据集上的实际效果仍需进一步提升.ECE评价指标尚未达到理想水平,ECEP指标因其更高难度而更具挑战性
除了技术层面的挑战外，在公共数据集的可用性方面也面临着限制。文献中对ECEF方法在公开数据集上的应用仍存在局限性。深度学习模型通常依赖于大量标注数据来进行训练，在实际应用中面临较大的挑战。我们发现许多模型误判的情况通常是由于标注不准确或是文本逻辑不清导致的。这也反映出自然语言处理中的复杂性。此外，在一段话中情感与原因之间的关系可能呈现多对一或多对多的关系模式；这种复杂的关系网络必然会给自然语言处理带来更大的挑战，并要求研究者给予更多的关注与探索；未来的研究课题之一是如何克服不同语言特性带来的障碍以期达到通用化建模的目标；从现有实验结果来看，在中文与英文等多语种的数据集上表现不尽相同的模型现象尤为明显：中文语境下性能较好的模型往往在英文语境下表现不佳；反之亦然；这种差异反映了不同语言系统对其下的智能体所具有的独特影响；因此如何构建能够适应多种语言特点并取得良好通用性能的语言模型将是一个值得深入探索的方向
本次调查旨在为研究者提供一个切入点，并使他们能够了解生态经济学的最新进展。通过这项工作, 我们将帮助他们认识未来研究的重点, 最终推动相关技术的成熟和发展, 在经济、政治等领域的实用价值也将得到进一步提升.