Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification, WWW2022

本研究聚焦于无标签场景下的基于元数据的多标签文本分类问题。该方法完全不依赖任何经过标注的实例，并仅利用其表面名称及其描述信息。我们开发了一种新的元数据诱导对比学习方法MICoL（M...），用于计算文档与对应的多标签之间的相似度分数。

PRELIMINARIES

Metadata, Meta-Path, and Meta-Graph

元数据被称为网络中的额外信息，在本文所采用的学术网络中，通常会包含作者、机构以及主题等内容。该类学术网络被视作一个典型的异构图（HIN），其中不同类型的节点和边之间的构建模式可以通过meta-path或meta-graph来进行描述：

Meta-Path 。因网络中的不同实体间存在异构关系，则两个文档可以通过不同的路径建立联系。如两篇论文拥有共同的作者，则可通过构建基于论文作者节点的关系来实现连接；若有一篇论文引用另一篇，则可通过构建基于引用关系节点的关系来实现连接。本文将给出具体的元路径定义如下：

比如图3(a) 3(b)中的两条元路径就可以通过PAP以及P→P←P表示。
Meta-Graph 。在某些情况下，路径可能不足以捕获两个节点之间的潜在语义。例如，一个元路径不能描述至少共享两位作者的两篇论文之间的关系。请注意，这种关系值得研究，因为当我们推断论文之间的语义相似时，两个共同作者可以比一个作者提供更多的信息一名研究人员在其职业生涯中可能会从事多个主题，而两名研究人员之间的合作往往侧重于一个特定的方向。Meta-graph定义如下：

Connectivity

THE MICOL FRAMEWORK

MICoL采用了一个包含两个步骤的排序机制来进行文本重排任务。具体而言，在离散检索模块中主要完成生成用于对比学习的正样本配对和负样本配对的任务；而在连续重排序模块中则致力于学习一种自动化化的样本配对匹配模型以实现精确重排。在研究贡献方面，该方法通过巧妙地结合文档级别的元数据特征并提出了一种基于此的信息驱动型对比学习方案，在提升基于BERT模型的重排效果方面取得了显著提升的效果

Retrieval Stage

检索用于寻找知识库中的相似文档。本文采用了两种方式：exact name matching and sparse retrieval。
第一种直接进行label名称的匹配，如果标签l出现在文档d的文本中，那么则认为该文档包含标签l。表示通过精确名称匹配获得的文档候选标签的集合用C_{exact}(d)表示。
但是由于并非所有的标签都会出现在文档原文中，所以sparse retrieval采用了BM25进行文档匹配，获取高于某一阈值的文档-标签对作为正例。首先，标签会有一段文本描述，以及一个标签名，将这两个拼接起来：t_l=n_l||s_l。接下来，BM25的计算方式如下：

参数

Re-ranking Stage

重排阶段通过预训练语言模型对原始文本及其对应的标签信息进行编码，并借助对比学习机制区分正例与负例。其中主要采用两种不同的编码策略，具体实现细节见下文。

Bi-Encoder 。分别对二者进行编码，并计算二者CLS表示的余弦相似度：

Cross-Encoder 。将其整合进一个BERT模型中，并用学习得到的CLS向量e_{d||t_l}作为计算相似度的基础向量；随后通过应用线性变换来预测相似程度：

每个文档都会相应地生成包含正反两类样本的数据集，并将其表示为(d,d^+), (d,d^-)的形式。其中d^+基于元知识体系进行定义，在能够从d中到达的情况下被标记为正样本。针对Bi-Encoder模型而言，其损失函数计算公式如下：

对于Cross-Encoder，则为：

Training and Inference Procedures

训练和推断的过程不尽相同，总体可以用两个不同的算法进行描述：

在推断过程中必须对候选集合实施相似匹配行为；考虑到标签空间过于庞大从而必须缩减与之相关的配对范围：

EXPERIMENTS

接下来详细描述了对tail-label的预测效果，并基于对tail-label重新分类的标准来制定评估标准：

不同元路径以及元图下的性能比较（真是吓人的实验量）：