论文学习：Relphormer:用于知识图谱表示的关系图Transformer
资料
论文：Relphormer: Relational Graph Transformer for Knowledge Graph Representations
大体介绍
论文介绍了一种名为Relphormer的新模型，它是基于Transformer架构的知识图谱（KG）表示方法。Relphormer通过引入Triple2Seq来动态采样上下文化的子图序列，以解决知识图谱中的异构性问题。此外，它还提出了一种新颖的结构增强自注意力机制，用于编码关系信息并保持实体和关系内的语义信息。Relphormer还利用掩码知识建模进行通用的知识图谱表示学习，可以应用于多种基于KG的任务，如知识图谱补全、问答和推荐。实验结果表明，Relphormer在六个数据集上的性能优于基线模型。
Relphormer模型
- 内容: 详细介绍了Relphormer模型的三个主要组成部分：Triple2Seq、结构增强自注意力机制和掩码知识建模。
- 分析：
- Triple2Seq: 通过动态采样上下文化的子图序列来解决异构性问题，它将上下文子图作为输入序列进行采样。具体来说，我们将关系视为子图中的正常节点，然后将上下文子图输入Transformer模块，使用动态采样策略来最大程度地保留局部上下文信息和语义。
- 结构增强自注意力: 通过注意力偏置来捕捉子图中节点对之间的结构信息，有助于保留上下文化子图中的重要结构信息。模型可以同时编码文本特征，同时保留结构信息。不仅关注知识图谱表示，这样的机制也适用于其他类型的基于Transformer的方法，以融入任何结构偏差。
- 掩码知识建模: 受自然语言处理中掩蔽语言建模的启发，引入了一个统一的优化目标，即预测输入序列中被掩蔽的实体以及关系标记。通过这种方式，我们可以为知识图谱补全中实体和关系的预测简单地利用一个统一的优化目标。通过随机掩码输入序列中的特定标记并预测这些掩码标记来学习KG表示，这种方法不同于基于评分函数的方法，可以避免其缺陷。用于统一的KG表示学习。
方法实现
Triple2Seq
知识图谱通常包含大量的关系事实，因此整个关系图不能直接输入Transformer。为了缓解基于全图的Transformer的限制，提出了Triple2Seq，它使用上下文的子图作为输入序列来编码局部结构信息。
经过Triple2Seq的过程后，我们可以获取上下文子图$T_g $ 。同时，上下文子图的局部结构在邻接矩阵$A_g $中得以保留。通过这种方式，我们可以获取节点对信息，包括实体关系、实体-实体和关系-关系对的交互。另一个优点是，关系节点可以被视为特殊节点。由于知识图中关系的数量远小于实体的数量，因此它可以在由Triple2Seq采样的上下文子图之间保持全局语义信息。值得注意的是，我们还添加了一个全局节点来明确保持全局信息。全局节点在自然语言预训练模型中扮演着类似[CLS]标记的角色。我们通过可学习的虚拟距离或固定距离将全局节点与上下文子图中的节点联系起来。因此，我们获得了最终的输入序列，其中包含一个特殊的虚拟节点来构建节点特征。
结构增强自注意力
掩蔽知识建模
