SCI论文（www.lunwensci.com）
摘要：知识图谱补全技术则是有效地挖掘潜在知识的重要手段。然而,现实世界中的信息通常以文本、图像等多种模态形式呈现,跨模态的冗余信息导致多模态知识图谱补全性能难以满足需求。为此,本文提出一种基于链接预测方法的多模态知识图谱补全技术,将知识补全视作一种链接预测问题,首先将跨模态的相同实体融合,再利用FocalLoss来缓解预测过程中的类别不均衡问题。在多个数据集上开展的实验证明文中提出的方法能够有效提升补全的准确性。
关键词：多模态数据,知识对齐,知识补全,链接预测,知识图谱
A Multimodal Knowledge GraphCompletion Technology Based on Link Prediction
JIANG Wei1,2
(1.Information Science Academy,China Electronics Technology Group Corporation,Beijing 100042;2.National Key Laboratory for Complex Systems Simulation,Beijing 100192)
【Abstract】：Knowledge graph completion technology is an important means to effectively tap latent knowledge.However,the information in the real world is usually presented in the form of text,image and other multiple modes.The cross modal redundant information makes it difficult to meet the requirements for the completion performance of the multimodal knowledge graph.For this reason,this paper proposes a multimodal knowledge graph completion technology based on link prediction method,which regards knowledge completion as a link prediction problem.Firstly,the same cross modal entities are fused,and then FocalLoss is used to alleviate the category imbalance problem in the prediction process.Experiments on several datasets show that the proposed method can effectively improve the accuracy of completion.
【Key words】：multimodal data;knowledge alignment;knowledge completion;link prediction;knowledge graph
0引言
知识图谱(Knowledge Graph,KG)[1]技术在进行关键数据获取、有效信息融合、知识驱动应用等方面展现出巨大优势,已成为当前及未来知识及大数据应用领域的一个重要研究方向。知识图谱中存在大量潜在知识,例如,实体间的潜在关系,这些潜在知识拥有丰富的价值,反应了实体间存在的关联,通过有效挖掘,能够丰富知识内涵,掌握更全面的领域信息,而作为知识图谱上挖掘潜在实体关联的有效方法,知识补全技术获得了持续的关注。信息来源于多种模态的数据,例如文本、图片、视频、音频等,而非单一模态。然而,目前知识图谱补全技术主要还聚焦于单一模态的知识图谱上的链接预测,对于多模态知识图谱上的知识补全技术研究还处于初期阶段,如何解决多模态数据上相同实体的有效汇聚,如何解决不同类型的链接的权重差异性问题等,都是当前多模态知识图谱补全技术上亟需解决的问题。
为此,本文提出一种多模态知识图谱补全技术,该技术通过有效对齐不同模态的相同实体,缓解补全时的冗余噪音问题,进而引入FocalLoss来解决深度学习过程中的类别不均衡问题,有效利用多模态数据信息提升知识图谱补全性能。
1相关研究现状
对于知识图谱链路预测任务,相关人员做了大量的研究。张等人[2]基于位置相关的实体和关系本身拥有丰富的位置特征这一特点,提出了位置的知识图谱链接预测方法。Li等人[3]考虑到知识图谱中的层次结构包含丰富的推理模式,提出了一种基于翻译模型的层次约束链接预测方法,从而进一步提高链接预测的效果。Zhang等人[4]在知识图谱的表示学习中考虑了实体和关系的交叉交互,提出了一个新的知识图谱表示学习模型CrossE,在CrossE中实体和关系不仅仅有通用向量表示,同时还有很多交互向量表示,从而实现了更好的链接预测结果。Liu等人[5]引入了TLogic一个基于时间随机漫步提取的时间逻辑规则的可解释框架解决了时序知识图谱上的链接预测任务。
2文中提出的模型
在多模态知识发现所获得的初始数据知识图谱的基础上,知识图谱补全旨在对多模态知识图谱进行补全,包括两个部分,分别是实体对齐和链接预测。实体对齐对具有相同语义的多模态的实体节点进行对齐,即两个指代相同的实体合并为同一实体,实体对齐目标可能是同一模态的实体,也有可能是不能模态的实体；链接预测对知识图谱缺少的关系进行补全,关系可能是同一模态实体节点之间的关系,也可能是跨模态节点之间的关系。
为了解决多模态实体对齐监督数据过少的问题,我们设计的联合知识图谱补全将实体对齐和链接预测合并,当作一个共同的任务进行训练,具体地,将实体之间的语义对齐作为链接预测的一种关系类型,即在M个关系类别的基础上,链接预测的关系类别为M+1。这种联合知识图谱补全的方式能够将因缺少监督数据而较难训练的实体对齐融合到链接预测任务中,然而这种方式会导致链接预测训练过程中的类别不均衡问题,因此引入FocalLoss来缓解联合知识图谱补全训练过程中的类别不均衡问题。
2.1联合知识图谱补全
知识抽取过程中获取到的多模态知识图谱,对于两个实体和,预测他们在最终的多模态知识图谱中是否存在语义关系,链接预测的目标就是根据这两个实体已知的相关信息,判断他们之间的语义关系。这里采用的模型框架将多模态知识图谱链接预测表示成为一个多标签分类问题,其中类别为M+1,通过训练多标签分类模型,对图谱中的每一对实体和关系进行预测,将实体之间的语义对齐关系当作类别0,若是多标签分类模型预测两个实体中存在关系,且不存在于之前的知识图谱关系中,则添加一个新的关系为链接到这两个节点上。模型结构如图1所示,通过该模型,能够将任意两个存在潜在关联的实体间的关系补全。
语义链接预测的分类器模型采用多层感知机神经网络模型(还可以采用多元Logistic回归模型),将得到的两个实体u和v的联合向量作为分类器的输入,通过隐藏层的函数变换并采用Sigmod函数将输出表示成M+1维的向量,该分类器的模型采用如式(1)所示的损失函数和误差反向传播算法进行训练：
其中表示第i个样本第j个类别的真实值,表示第i个样本第j个类别的输出值经过Softmax处理之后的输入。
之后,将所有链接中包含类别0(实体语义相同)的实体对合并为同一实体,将两个实体中包含的信息合并到同一个节点中。
2.2 FocalLoss解决类别不均衡
由于联合知识图谱补全会造成类别不均衡问题,所以提出使用FocalLoss来处理类别不均衡问题。FocalLoss根据不同类别样本的分类的难易程度进行赋权,给容易区分的类别赋予较小的权重,给难分辨的样本添加较大的权重。对于不同的类别,区分难易度的衡量方式是对于该类别样本的预测置信度,若置信度越接近于1,则说明该类别的样本越容易区分,则应该赋予较小的权重,让模型更关注难区分的类别,反之则应赋予较高的权重。FocalLoss的损失函数为如图(2)所示：
其中γ为FocalLoss的可调节因子。
通过使用联合知识图谱补全,将实体对齐与链接预测合并为同一任务,并使用FocalLoss解决联合训练过程中的类别不均衡问题,将知识图谱在知识抽取的基础上完成了补全。
3系统能力评估
3.1数据集介绍
系统在两个数据集上开展实验,这两个数据集分别是FB500K[6]和WN100K[6],前者包括实体14951,后者包括实体38696。
3.2基准算法描述
I-ReSCAL[2],是一种针对位置关系的基于向量化和规则的链接预测方法。hTransM[3],是一种基于知识图嵌入的层次约束链接预测方法,称为hTransM,该方法使用知识图谱的层次化图形结构。CrossE[4],是一种考虑实体和关系嵌入交互的链接预测方法,有效利用实体到关系的交互和关系到实体的交互信息。
3.3多模态数据表征能力分析
为了研究多模态知识图谱补全能力,选择I-ReSCAL、hTransM和CrossE为基准,通过对比补全(预测)链接的准确性,来衡量算法的性能,对比数据如表1所示,文中提出的方法MKGCT在关系预测(补全)任务中性能最好,证明文中提出的方法在多模态知识图谱补全方面有良好的表现,其中可能的原因是MKGCT方法通过对齐技术,现将相同的节点融合在一起,使得数据更加稠密,其次,通过FocalLoss技术,能够有效缓解类别不均衡问题,利用实体的向量表示和附加属性信息,有效提升了预测的准确性。I-ReSCAL对于位置实体的链接预测性能更好,但是在通用实体间链接预测上性能衰退明显。而由于缺乏对实体对齐的步骤,导致冗余噪音引入方法,因此hTransM和CrossE方法的性能弱于MKGCT。因为考虑了知识图谱图的层次结构,获得了更多结构信息,CrossE方法优于hTransM。
4结语
多模态知识图谱补全需要在多模态知识图谱的基础上对齐语义相同的相同模态实体和不同模态实体,同时通过链接预测技术补全知识抽取过程中没有获取到的知识。由于跨模态实体对齐数据监督数据稀疏的问题,跨模态实体对齐模型效果一般。为了解决这个问题,本文将跨模态实体对齐与链接预测合并为同一任务,提出一种多模态知识图谱补全技术(Multimodal Knowledge Graph Completion Technology,简称MKGCT),具体地,将实体之间语义的对应关系当作链接预测中的一个关系种类。然而,这种方式无疑会因为跨模态实体对齐监督数据的稀疏性导致链接预测训练过程中的类别不均衡问题。因此,本项目进一步引入FocalLoss来解决该问题,FocalLoss能够处理深度学习过程中的类别不均衡问题。最后,根据实体的向量表示和附加属性信息,进行联合知识图谱的补全,从而保证多模态知识图谱的完整性。
参考文献
[1]杭婷婷,冯钧,陆佳民.知识图谱构建技术:分类、调查和未来方向[J].计算机科学,2021,48(2):175-189.
[2]张宁豫,陈曦,陈矫彦,等.基于位置的知识图谱链接预测[J].中文信息学报,2018,32(4):80-86+129.
[3]LI M L,WANG Y Z,ZHANG D H,et al.Link Prediction in Knowledge Graphs:A Hierarchy-Constrained Approach[J].IEEE Transactions on Big Data,2022,8(3):630-643.
[4]ZHANG W,PAUDEL B,ZHANG W,et al.Interaction Embeddings for Prediction and Explanation in Knowledge Graphs[C]//Proc 12th ACM International Conference on Web Search and Data Mining,2019.
[5]LIU Y H,MA Y P,HILDEBRANDT M,et al.TLogic:Temporal Logical Rules for Explainable Link Forecasting on Temporal Knowledge Graphs[C]//Proc 36th AAAI Conference on Artificial Intelligence,2021.
[6]BORDES A,USUNIER N,GARCIA-DURAN A,et al.Translating Embeddings for Modeling Multirelational Data[C]//Proc.26th Int.Conf.Neural Inf.Process.Syst.,2013:2787-2795.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/54265.html
