阅读记录：SimRE: Simple Contrastive Learning with Soft LogicalRule for Knowledge Graph Embedding
大连海事大学
期刊：Information Sciences
本文提出了一种名为SimRE的新颖对比学习框架旨在强化软逻辑规则的应用能力。该框架通过自监督机制构建了一个能够基于输入数据自动预测相应逻辑结论的系统。其核心组件由两部分构成：Rule Encoder 和 Text Learner 。其中，
- Rule Encoder 主要致力于在对比学习框架中优化知识表示的质量与效率；
- Text Learner 则采用了与现有研究中广泛使用的SimKGC模型类似的结构设计。
在具体实现过程中， - Rule Encoder 采用了批次内部反例选择和预批次内部反例选择相结合的技术以提高训练效果；
- 而 Text Learner 则借鉴了SimKGC模型的设计思路将外部知识融入到系统推理过程中。
整个系统通过简单的组件集成实现了知识表示与语义理解的有效结合。
一、介绍
知识图谱嵌入技术主要采用两种不同的策略：一种以嵌入 为基础的方法（如三元组形式），另一种则侧重于通过引入额外信息来提升表示能力（如结合实体属性）。具体而言，在左侧展示的情况中（如图所示），其输入数据仅由单一实体与关系构成；而在右侧，则通过整合额外的文本信息来丰富模型的数据源。参考图中所示的情况可知：左侧展示的是仅依赖于实体及其关系的结构；右侧则通过整合额外的信息来扩展所分析的知识范围。
SimKGC模型被认为是当前基于文本方法中最为成熟可靠的方案。但是 SimKGE框架未充分考虑核心机制；主要受限于文本与结构属性；同时引入了 SimRE作为替代方案。
二、模型架构
有两个主要组成部分：分别为规则学习相关功能和文本处理相关功能的设计。其中一种双重架构中存在一种参数集与另一种参数集相互独立的情形。而采用与SimKGC模型类似的架构设计，则能够实现相似的处理机制。
2.1 规则编码模块
SimRE模型致力于将软逻辑规则约束整合到基于文本的模型中，并通过这种整合从而实现性能提升。可被视为具有两个参数h和t的二元谓词r的三元组(h, r, t)，其表示形式为r(h,t)，其中ht可被视为客体。
对于每一个特定的关系r来说，在软计算体系中都存在相应的软逻辑系统与其对应。其结构特征主要体现在：每个软逻辑系统的头部直接标识对应的关系r；而整个系统的知识库则由一系列谓词或子系统构成。具体而言，在图3中可以看到：例如使用hasChild(x,y)作为系统的核心部分（即头部），其知识库将包含具有父-子关联性的子系统（即子谓词）或者是由两个这样的二元关联组成的合取结构。
SimRE 利用 RNNLogic生成与知识图中每个关系相对应的软逻辑集。
SimRE 应用第一个编码
来计算规则主体的嵌入，并使用特殊字符 [SEP] 连接各种谓词描述作为
的输入。SimRE 通过在
的最后一层执行均值池化，使用第一个编码器
。对不同的规则体应用
变化的第一个编码，导致最终输出向量出现显着变化。
此外，SimRE 使用第二个编码器
来计算规则头的嵌入
。在本例中，
输入包含谓词描述。基于比较学习的方法中，规则体与规则头在语义空间中呈现出相似特性。
和
之间的余弦相似度可以计算如下：
最后，SimRE 的目标是获得规则头的向量表示。为了实现这一点，SimRE 计算
在向量空间中计算各实体与其余所有实体之间的cosine相似度测量值后
2.2 文本学习模块
该模块类似于SimKGC的模块架构。依旧是由两个编码器组成，分别标记为
和
在前部分中，实体及其关联信息 将被作为整体输入。通过 [SEP] 标识符对文本的两个段落进行分隔处理。其输出向量则标记为
通过一种系统化的方法将基于规则编码模块提取的逻辑向量数据融入到文本模型中进行整合，并采用了一种简便的方法来调整编码器 BERThr 的输出结果以实现其功能
。合并了逻辑特征的结果向量
可以表示如下：
其中 ◦ 表示哈达玛积(Hadamard product)（对应项直接乘），
表示规则头的嵌入。
编码器
输入尾部实体生成输出向量
。在对比学习的框架下，向量
和
在向量空间中具有相似的距离。两个向量之间的余弦相似度表示为：
在链接预测任务中，在于尾实体t的预测取决于头实体h及其关联关系r。从而实现这一目标的SimRE模型通过计算向量 SimRE(h,r) = ... 来表示这一过程。
计算与所有实体之间的余弦相似度后，并根据计算出的各实体的余弦相似度分数，选取得分最高的尾部实体作为预测对象
三、负采样
SimRE主要基于负采样机制，在结构上类似于SimKGC模型，并主要基于批内规则负样本（IRN）、批前规则负样本（PRN）以及Self-batch Negatives。
3.1 批内规则负样本（IRN）
IRN 是一种被广泛应用的学习表示采样技术。该方法通过将当前规则以外的规则头被用作训练负样本而实现显著提升了采样效率。
3.2 批前规则负样本（PRN）
在采样过程中，在批量大小与样本数量之间存在直接关系（IRN的一个缺点）。PRN则采用了预批次抽样的方法，在采样时利用多批数据实现抽样。该方法通过使用1至2个预批样本（已被验证能显著增加负样本的数量）。
四、损失函数
训练中使用了InfoNCE损失函数，定义如下：
SimRE 确定了构成总体损失的两个部分：三元组损失
和规则损失
在三元组损失中，N代表KG中三元组的数量。h、r、t的三元组的得分计算方式可以用Φ(·)来表示，并且可以表示为Φ(h, r, t) = cos(
,
通过将附加边际(additive margin)标记为 γ 的方式来提升正确三元组的表现；同时采用 τ 值调节负样本权重。
其中，在规则损失中，R标记了规则的数目。 SimRE 采用附加裕度（additive margin）φ（·），在我们的模型中定义为 φ(r_b, r_h) = cos(
,
SimRE 通过附加裕度（标记为 β）以提高正例规则的比例。 π 同时也被用来评估负例规则的相对重要性。
五、实验
数据集：FB13k-237、WN18RR、Wikidata5M-Trans、Wikidata5M-Ind
评估指标：平均倒数排名（MRR）和Hits@K
MRR 度量 用于评估预测候选中目标实体的平均倒数排名。具体定义如下：首先计算每个样本中目标实体在预测候选列表中的位置，并取其倒数；然后对所有样本求平均值即为 MRR 值。较高的 MRR 值意味着性能有所提升。
T 代表一组三元组，并用 |T| 表示该集合中三元组的数量；\text{rank}_i 则用于表示第 i 个三元组对应的链接预测排序结果。
Hits@K 指标是指前 K 个中所有实际三元组的比例。该指标评估模型在生成的前 K 个预测中包含有效目标实体的有效性。较高的 Hits@K 值表示卓越的性能，突出了模型精确预测相关实体的能力。使用 I(·) 表示指示函数，如果条件为真，则输出 1，如果条件为假，则输出 0。 Hits@K 定义如下：
六、结果
消融实验
