[讀論文] 用於知識圖譜預測和解釋的互動嵌入

原論文：Interaction Embeddings for Prediction and Explanation in Knowledge Graphs

出版：WSDM 2019

摘要

知識圖嵌入的目的是學習實體和關係的分散式再現，在許多應用中被證明是有效的。交叉互動——實體和關係之間的雙向效應——有助於在預測新的三元組時選擇相關資訊，但之前還沒有正式討論過。在本文中，作者提出了CrossE，一種新型的知識圖嵌入，它明確地模擬了交叉互動作用。它不僅像以前的大多數方法一樣，為每個實體和關係學習一個通用的嵌入，而且還為這兩個實體和關係生成多個三元組特定嵌入，命名為互動嵌入。

作者評估了典型的連結預測任務的嵌入，發現CrossE在複雜的、更具挑戰性的資料集上實現了最先進的結果。此外，作者從一個新的角度來評估嵌入——對預測的三元組給出解釋，這對實際應用來說是很重要的。在這項工作中，三元組的解釋被認為是頭部和尾部實體之間的可靠閉合路徑。與其他基線相比，作者透過實驗證明，受益於互動嵌入的CrossE更能夠產生可靠的解釋來支援其預測。

關鍵詞：知識圖譜嵌入、交叉互動作用、連結預測、解釋

1 介紹

知識圖嵌入（Knowledge graph embedding，KGE）學習實體和關係的分散式再現［11］，稱為實體嵌入和關係嵌入。 嵌入的目的是為了保留KG中的資訊，並以連續向量空間中的低維密集向量或矩陣來表示。目前已經提出了許多KGE，如基於張量因子化的RESCAL［26］、基於平移的TransE［4］、神經張量網路NTN［30］和線性對映方法DistMult［41］等，並被證明在知識圖譜補全、問題解答和關係提取等許多應用中都是有效的。

儘管在建模知識圖譜方面取得了成功，

但現有的KGE都沒有正式討論過交叉互動作用，即實體和關係之間的雙向作用，包括關係到實體、關係之間的互動作用、實體到關係之間的互動作用

。交叉互動作用是相當普遍的，對相關資訊選擇很有幫助，相關資訊選擇在預測新的三元組時是必要的，因為KG中的每個實體和關係都有各種資訊。

作者用圖1中的一個執行例子來解釋交叉互動作用的概念。在（X，isFatherOf，？）的預測過程中，有6個關於實體X的三元組，但其中只有4個三元組——（X，hasWife，Z），（X，fatherIs，Y），（Y，isFatherOf，X），（S，hasChild，X）——與這個預測有關，因為它們描述了家庭關係，將有助於推斷父子關係。而另外兩個描述X的職業關係的三元組並不能為這一任務提供有價值的資訊。這樣一來，關係是父子關係（關係isFatherOf）就會影響到要選擇的實體資訊進行推理。作者將其稱為從關係到實體的互動。

在圖1中，有兩個關於關係isFatherOf的推理路徑，但只有一個對推理（X， isFatherOf， ？）有關。這樣一來，實體X的資訊就會影響到要選擇的推理路徑進行推理。作者把它稱為從實體到關係的相互作用。

考慮到KGE中的交叉互動作用，實體和關係在特定的三元組中的嵌入都應該捕捉到它們之間的互動作用，當涉及到不同的三元組時，嵌入的內容也是不同的。然而，大多數以前的方法，如TransE［4］學習的是通用的嵌入方法，它們假定保留了每個實體和關係的所有資訊。它們忽略了實體和關係的互動作用。有些方法如TransH［38］和TransG［39］學習了多個實體或關係的嵌入，但沒有同時學習這兩種方法。它們忽略了交叉互動是雙向的，並且同時影響實體和關係的互動。

在本文中，作者提出了CrossE，一種新型的KGE，它明確地模擬了交叉互動作用。它不僅為每個實體和關係學習了一個通用的嵌入，而且還為這兩個實體和關係生成了多個三元組特定的嵌入，稱為互動嵌入。互動嵌入是透過一個特定於關係的互動矩陣生成的。給定一個（h，r，t ），CrossE中主要有四個步驟：1）對頭部實體h生成互動嵌入；2）對關係r生成互動嵌入；3）將互動嵌入hI和rI組合在一起；4）比較組合嵌入與尾部實體嵌入t的相似度。

作者對規範連結預測任務的嵌入進行評估。實驗結果表明，CrossE在複雜的、更具挑戰性的資料集上實現了最先進的再結果，並展示了在KGE中建模交叉互動的有效性。

此外，作者還從解釋預測的角度出發，提出了另外一種對KGEs的評價方案。鏈路預測任務只評估KGE在預測缺失三元組時的準確性，而在實際應用中，對預測結果的解釋是有價值的，因為它們可能會提高預測結果的可靠性。 就我們所知，這是第一個

同時解決連結預測及其解釋KGE

的工作。

作者將生成一個三元組（h，r，t）的解釋過程建模為尋找從h到t的可靠路徑和類似結構來支援路徑解釋。我們根據Recall和平均支援度來評價解釋的質量。Recall反映了KGE能夠產生解釋的三元組的覆蓋率，Average Support反映瞭解釋的可靠性。作者對解釋的評估結果表明，得益於互動嵌入的CrossE比其他方法，包括TransE［4］和ANALOGY［20］，更能給出可靠的解釋。

綜上所述，作者的貢獻包括：

作者提出了CrossE，一種新的KGE，它透過學習互動矩陣來模擬實體和關係的交叉互動。

作者用三個基準資料集對CrossE與其他各種KGE進行了比較，並表明CrossE在引數大小適中的複雜和更高難度的資料集上達到了最先進的結果。

作者提出了一種新的嵌入評估方案——搜尋預測解釋，並表明CrossE能夠比其他方法產生更可靠的解釋。這證明了互動式嵌入能夠更好地捕捉到實體和關係在不同語境下的三元組中的相似性。

2 相關工作

知識圖嵌入（KGE）的目的是將知識圖嵌入到一個連續的向量空間中，並學習實體和關係的稠密的低維表示。各種型別的KGE方法已經被提出，大多數方法都是利用知識圖中的訓練三元組來學習實體之間的關係。有些方法還利用額外的資訊，如邏輯規則、外部文字語料庫和分層型別資訊來提高嵌入質量。由於作者的工作重點是在沒有額外資訊的情況下從知識圖中的三元組學習，所以作者主要總結了那些利用三倍體學習的方法，並在最後簡要總結了利用額外資訊的方法。

考慮到從交叉互動作用中的元素和關係的多重表示的要求，之前的KGEs學習方法可以分為兩類。（1）針對每個實體和關係學習通用嵌入的方法，以及（2）針對實體和關係學習多重表示的方法。

使用通用嵌入方法的知識圖譜嵌入

現有的通用嵌入方法都將實體表示為低維向量，將關係表示為結合頭實體和尾實體的表示的操作。大多數方法在向量空間中提出了不同的假設，並從不同的角度對知識圖進行建模。第一種基於平移的方法TransE［4］將關係視為從頭實體到尾實體的平移，並假設頭實體的關係特異平移應該接近尾實體向量。它將每一個關係作為一個單一的向量來重述。 RESCAL［26］將知識圖視為一個多熱（multi-hot）張量，並透過集體張量因子化學習實體向量表示和關係矩陣表示。HOLE［25］是一種組合式向量空間模型，利用不同維度的嵌入向量之間的相互作用，並採用迴圈關聯來建立組合式表示。RDF2Vec［27］使用圖遊走和Weisfeiler-Lehman子樹RDF核心來生成實體序列，並將實體序列視為自然界中的單詞序列，然後遵循word2vec來生成實體的嵌入，但不包含關係。NTN［30］將每個關係表示為一個雙線性張量運算子，之後是一個線性矩陣運算子。ProjE［29］使用了一個簡單但有效的共享變數神經網路。DistMult ［41］從雙線性目標學習嵌入，其中每個關係被表示為從頭實體到尾實體的線性對映矩陣。它成功地抓住了關係的組成語義。ComplEx［35］利用復值嵌入來處理對稱和反對稱關係，因為實值的Hermitian點積是可交換的，而對於復值來說，它是不可交換的。 ANALOGY［20］是從類比推理的角度出發，基於線性對映假設提出的。它在關係矩陣中加入了規範性和交換約束，從而提高了類比推理的建模能力，在鏈路預測任務上取得了最先進的結果。 所有這些方法都為每個實體和關係學習了一個通用的嵌入。這些方法在不同場景下推斷新的三元組時，忽略了實體和關係之間的交叉互動作用。

使用多嵌入的知識圖譜嵌入

一些KGEs在各種考慮下學習實體或關係的多個嵌入。結構化嵌入（SE）［5］假定在一個三元組中的頭部實體和尾部實體應該在某個取決於關係的子空間中相互接近。它用兩個不同的矩陣來表示每個關係，以轉移頭部實體和尾部實體。ORC［44］專注於單關係圈，並提出為每個實體學習兩個不同的表示方式，一個作為頭部實體，另一個作為尾部實體。TransH［38］注意到TransE在處理1-N、N-1、N-1和N-N關係時有問題。它為每個關係學習一個特定的超平面，並將關係表示為接近其超平面的向量。當涉及到這個關係的三重關係時，實體被投射到關係超平面上。TransR［19］認為不同的關係集中於實體的不同方面。它透過將實體空間中的實體投射到關係空間中來表示不同的方面，併為每個實體獲得各種關係的特定嵌入。CTransR［19］是TransR的擴充套件，它透過將不同的頭尾實體對聚類成組，併為每個組學習不同的關係向量來考慮每個關係型別下的相關性。TransD［13］是一個更細粒度的模型，它為每個實體-關係對構建一個動態對映矩陣，同時考慮到實體和關係的多樣性。TranSparse［14］是為了處理關係和實體的知識圖譜的異質性和不平衡性而提出的。它用自適應稀疏矩陣表示轉移矩陣，轉移矩陣的稀疏度由該關係所連線的實體數決定。 這些方法大多考慮了從關係到實體的互動作用，學習了實體的多種表示方法。但它們學習的是關係的通用嵌入，而忽略了從實體到關係的互動作用。

使用額外資訊的知識圖譜嵌入

一些KGEs學習嵌入不僅利用知識圖中的訓練三元組，還利用了額外的資訊。RTransE［7］、PTransE［18］和CVSM［22］利用路徑規則作為額外的約束條件來改進嵌入。［36］考慮了3種物理規則和1種邏輯規則，並將知識圖中的推理表述為整數線性程式設計問題。［16］和TKRL［40］提出，實體的分層型別資訊對知識圖中的表示學習具有重要意義。［16］將實體型別視為KG的潛變數模型中的硬約束，TKRL將分層型別視為實體的投影矩陣。

3 CrossE： 模型描述

在本節，作者提供了模型CrossE的細節。該模型透過學習一個互動矩陣來模擬實體和關係之間的交叉互動，以產生多個特定的互動嵌入。

在該方法中，每個實體和關係都由多個嵌入來表示。（a）通用嵌入，保留了高層次的屬性；（b）多個互動嵌入，保留了作為交叉互動結果的特定屬性。互動嵌入是透過通用嵌入和互動矩陣之間的Hadamard乘積得到的。

CrossE的基本思想如圖2所示。通用嵌入（E表示實體，R表示關係）和互動矩陣C用陰影框表示。互動嵌入的Ec和Rc是實體和關係之間的交叉互動的結果，它們是由通用嵌入的互動操作完全指定的。因此E、R和C是需要學習的引數，而Ec和Rc不是。

CrossE的主要優點。與現有的KGE相比，CrossE的優點如下。

對於一個實體和一個關係，在具體的三元組推理過程中使用的表示方式是互動式嵌入（而不是通用的嵌入），它模擬了不同的三元組預測選擇不同的資訊。

針對每個實體和關係的多重互動嵌入提供了更豐富的表徵和泛化能力。作者認為，根據互動的上下文，它們能夠捕捉到不同的潛在屬性。這是因為當涉及到不同的三元組時，每個互動嵌入可以選擇不同的相似實體和關係。

CrossE為每個實體和關係學習一個通用的嵌入，並使用它們來生成互動嵌入。這比學習每個實體和關係的多個獨立的嵌入要少很多額外的引數。

4 預測的解釋

在本節中，作者描述如何為預測的三元組生成解釋。當KGE在實際應用中實現時，解釋是有價值的，因為它有助於提高預測結果的可靠性和人們對預測結果的信任度。在實現高預測精度和給出解釋之間的平衡已經在其他領域引起了研究的關注，例如推薦系統［10，37］。

作者首先介紹解釋方案的動機，然後是基於嵌入的路徑搜尋演算法。

4。1 背景

與推理鏈和邏輯規則類似，從h到t的有意義的路徑可以被看作是對預測的三元組（h，r，t）的解釋。例如，在圖1中，X是M的父親，可以透過（X，hasWife，Z）和（Z，haschild，M）來推斷出X是M的父親。

搜尋頭部實體和尾部實體之間的路徑是給出三元組解釋的第一步。有工作專注於挖掘這樣的路徑作為規則或特徵來進行預測，如AMIE+［6］和PRA［17］，在這些工作中，基於隨機遊走和統計意義對路徑進行搜尋和修剪。高效路徑搜尋的一個重要方面是搜尋空間的容量。選擇候選起始實體和關係是減少搜尋空間的關鍵點。好的嵌入可以在對路徑搜尋結果影響較小的情況下對候選者選擇有幫助，因為它們應該是捕捉實體和關係的相似性語義。因此，透過基於嵌入的方式尋找可靠的路徑，對預測的三元組給出解釋，不僅提高了預測結果的可靠性，而且還提供了一個新的評價嵌入質量的角度。

本文以知識圖中的相似結構的數量來評價三元組（h，r，t ）的解釋可靠性，正如［24］所指出的那樣，推理主要基於知識圖中的相似結構的數量。類似結構包含相同的關係，但不同的具體實體。

一般來說，對於一個解釋來說，結構越是相似的結構支援越多，就越可靠。

4。2 基於嵌入的解釋搜尋

在基於嵌入的解釋搜尋過程中，作者首先根據嵌入的相似性選擇候選實體和關係，以減少搜尋空間，然後再生成一個三元組（h，r，t）的解釋。候選實體和關係的選擇與嵌入的質量有關，將直接影響最終的解釋。

作者假設向量嵌入的相似度與歐幾里得距離相關，矩陣嵌入的相似度與Frobenuis norm相關。然後根據選定的候選者，作者對解釋進行詳盡的搜尋，包括（1）尋找從h到t的閉合路徑作為解釋，（2）尋找相似結構的解釋作為支援。更具體地說，主要有四個步驟。