OpenAI 發現用於實體消歧義的類型

OpenAI 已開發一個用於自動實體消歧義的系統，該系統使用神經網路來判斷一個詞是否屬於約 100 個自動發現的「types」或非互斥類別之一。此方法透過將問題視為概率式的「20 questions」遊戲，而非直接推理詞所指的具體對象，來提升數個實體消歧義資料集的最先進準確度。

效能基準

基於類型的方法相較於依賴分佈表示的先前方法，在準確度上有顯著提升。該系統達成了以下結果：

• CoNLL (YAGO): 94.88% 準確度（先前的最先進結果為 91.50% 和 91.70%。）
• TAC KBP 2010 挑戰賽： 90.85% 準確度（先前的最先進結果為 87.20% 和 87.70%。）

根據 OpenAI 的說法，完美的類型預測將使這些任務的準確度落在 98.6% 至 99% 之間。

系統架構與工作流程

消歧義流程遵循五個步驟的管道：

1. 實體映射： 系統提取維基內部連結，以識別詞可能指向的所有實體。
2. 類別識別： 它透過 Wikidata 知識圖譜遍歷維基類別樹，以確定與每個實體相關的所有類別。
3. 類型系統優化： 系統選擇約 100 個類別的清單作為「type」系統，並優化這些選擇，使實體能以緊湊的二進位向量表示。
4. 神經網路訓練： 使用維基內部連結及其周圍上下文，系統訓練一個神經網路，將詞及其上下文映射為對應實體的 100 維二進位表示。
5. 推論： 在測試時，神經網路預測詞屬於每個類別的機率。然後使用貝葉斯定理來計算詞指向每個可能實體的機率。

資料清理與啟發式方法

為建立高品質的訓練資料，OpenAI 利用 Wikidata 屬性圖來解決維基內部連結中的噪聲。此流程處理了诸如指代（將連結指向類型的特定實例而非類型本身）和轉喻（從暱稱進行連結）等問題。

例如，該系統以啟發式方式將連結轉換為其「generic」含義，這顯著減少了與詞「king」相關聯的實體數量，從 974 減少到 14，並增加了從「queen」到「monarch」類別的連結數量，從 32 增加到 3,553。

學習類型系統

選擇最佳的類型系統是一項複雜的任務，因為可能的類別集合數量過大，無法得到精確解。OpenAI 使用啟發式搜尋、隨機優化（演化算法）和梯度下降來在兩個關鍵因素間取得平衡：

• 可學習性： 透過訓練分類器以從上下文預測類型成員資格所得到的平均曲線下面積（AUC）來衡量。高 AUC 表示該類型對神經網路而言較易推斷。
• 神準準確度： 衡量如果所有類型都被完美預測時，實體消歧義的效果如何。

神經類型系統實作

使用優化後的類型系統，OpenAI 在英語和法語上各以 4 億個標記訓練了雙向 LSTM。該模型僅使用維基內部連結的監督進行訓練，但在預測類型成員資格上仍達到超過 0.91 的 F1 分數。

一些發現的類型包括廣泛的類別如 Aviation、Clothing 和 Games，以及高度特定的類別如 1754 in Canada。

推論與複雜度

與傳統依賴文件中不同實體間一致性度量（導致 $O(N^2)$ 複雜度）的實體消歧義方法不同，此系統在 $O(N)$ 執行時間下運作。它使用 trie 識別片語，並根據維基連結頻率對可能的實體進行排名，再由類型分類器提供的可能性進行細化。