OpenAIによるエンティティ曖昧さ回避のためのタイプの発見

OpenAIは、単語が自動的に発見された約100の「タイプ」（非排他的なカテゴリ）のセットのいずれかに属するかどうかを判断するためにニューラルネットワークを使用する、自動エンティティ曖昧さ回避システムを開発しました。このアプローチは、単語が意図する特定のオブジェクトについて直接推論しようとするのではなく、問題を確率的な「20の質問」ゲームとして扱うことで、いくつかのエンティティ曖昧さ回避データセットにおける最先端の精度を向上させています。

パフォーマンス・ベンチマーク

タイプベースのアプローチは、分散表現に依存していた従来の手法と比較して、精度を大幅に向上させます。システムは以下の結果を達成しました：

CoNLL (YAGO): 精度 94.88%（従来の最先端の結果は 91.50% および 91.70%）。
TAC KBP 2010 challenge: 精度 90.85%（従来の最先端の結果は 87.20% および 87.70%）。

OpenAIによると、完璧なタイプ予測ができれば、これらのタスクにおいて 98.6% から 99% の精度が得られるとのことです。

システムアーキテクチャとワークフロー

曖昧さ回避プロセスは、5つのステップのパイプラインに従います：

エンティティ・マッピング: システムはWikipedia内部のリンクを抽出して、その単語が指し得る可能性のあるすべてのエンティティを特定します。
カテゴリの特定: Wikidataナレッジグラフを介してWikipediaのカテゴリツリーを辿り、各エンティティに関連付けられたすべてのカテゴリを特定します。
タイプシステムの最適化: システムは「タイプ」システムとして機能する約100のカテゴリのリストを選択し、エンティティがバイナリベクトルとしてコンパクトに表現できるように、これらの選択を最適化します。
ニューラルネットワークの学習: Wikipedia内部のリンクと周囲のコンテキストを使用して、単語とそのコンテキストを、対応するエンティティの100次元のバイナリ表現にマッピングするようにニューラルネットワークを学習させます。
推論: テスト時、ニューラルネットワークは単語が各カテゴリに属する確率を予測します。その後、ベイズの定理を使用して、その単語が各候補エンティティを指す確率を計算します。

データクリーニングとヒューリスティクス

高品質な学習データを作成するために、OpenAIはWikidataのプロパティグラフを利用して、Wikipedia内部のリンクにおけるノイズを解決しました。このプロセスは、照応（タイプそのものではなく、タイプの特定のインスタンスへのリンク）や換喩（ニックネームからのリンク）などの問題に対処します。

例えば、システムはリンクを「一般的」な意味にヒューリスティックに変換します。これにより、「king」という単語に関連付けられたエンティティの数は 974 から 14 に減少し、「queen」からカテゴリ「monarch」へのリンクの数は 32 から 3,553 に増加しました。

タイプシステムの学習

可能なカテゴリセットの数が多すぎて厳密な解を求めるのが困難であるため、最適なタイプシステムを選択することは複雑なタスクです。OpenAIは、以下の2つの主要な要因のバランスを取るために、ヒューリスティック探索、確率的最適化（進化アルゴリズム）、および勾配降下法を採用しました：

学習可能性 (Learnability): コンテキストからタイプへの所属を予測するように学習された分類器の平均AUC（Area Under the Curve）によって測定されます。高いAUCは、そのタイプがニューラルネットワークにとって推論しやすいことを示します。
オラクル精度 (Oracle Accuracy): すべてのタイプが完璧に予測された場合に、エンティティがどれだけうまく曖昧さ回避されるかの尺度です。

ニューラルタイプシステムの実現

最適化されたタイプシステムを使用して、OpenAIは英語とフランス語の両方について4億トークンで双方向LSTMを学習させました。モデルはintra-wikiリンクのみの教師あり学習で行われましたが、タイプ所属の予測において0.91を超えるF1スコアを達成しました。

発見されたタイプには、Aviation、Clothing、Games のような広範なカテゴリから、1754 in Canada のような非常に具体的なものまで含まれます。

推論と計算量

文書内の異なるエンティティ間のコヒーレンス指標に依存する従来のエンティティ曖昧さ回避手法（計算量は $O(N^2)$）とは異なり、このシステムは $O(N)$ の実行時間で動作します。trieを使用してフレーズを特定し、Wikipediaのリンク頻度に基づいて候補エンティティをランク付けし、タイプ分類器によって提供される尤度によってさらに精緻化します。