OpenAI 엔티티 디스암비게이션을 위한 타입 발견

OpenAI는 신경망을 사용하여 단어가 약 100개의 자동으로 발견된 '타입' 또는 비배타적 카테고리 집합에 속하는지 판단하는 자동 엔티티 디스암비게이션 시스템을 개발했습니다. 이 접근 방식은 특정 객체를 직접 추론하려는 대신 문제를 확률적 '20 질문' 게임으로 취급함으로써 여러 엔티티 디스암비게이션 데이터셋에서 최신 정확도를 향상시킵니다.

성능 벤치마크

타입 기반 접근 방식은 분산 표현에 의존한 이전 방법보다 정확도를 크게 향상시킵니다. 시스템은 다음과 같은 결과를 달성했습니다:

CoNLL (YAGO): 94.88% 정확도 (이전 최신 결과는 91.50%와 91.70%였습니다).
TAC KBP 2010 챌린지: 90.85% 정확도 (이전 최신 결과는 87.20%와 87.70%였습니다).

OpenAI에 따르면, 완벽한 타입 예측은 이러한 작업에서 98.6%에서 99% 사이의 정확도를 초래할 것입니다.

시스템 아키텍처 및 워크플로우

디스암비게이션 프로세스는 다섯 단계 파이프라인을 따릅니다:

엔티티 매핑: 시스템은 위키피디아 내부 링크를 추출하여 단어가 참조할 수 있는 모든 가능한 엔티티를 식별합니다.
카테고리 식별: Wikidata 지식 그래프를 통해 위키피디아 카테고리 트리를 탐색하여 각 엔티티와 관련된 모든 카테고리를 결정합니다.
타입 시스템 최적화: 시스템은 약 100개의 카테고리 목록을 선택하여 '타입' 시스템으로 사용하고, 엔티티가 바이너리 벡터로 kompactly 표현될 수 있도록 이러한 선택을 최적화합니다.
신경망 훈련: 위키피디아 내부 링크 및 주변 컨텍스트를 사용하여 시스템은 단어와 그 컨텍스트를 해당 엔티티의 100차원 바이너리 표현으로 매핑하는 신경망을 훈련시킵니다.
추론: 테스트 시점에서 신경망은 단어가 각 카테고리에 속할 확률을 예측합니다. 그런 다음 베이즈 정리를 사용하여 단어가 각 가능한 엔티티를 참조할 확률을 계산합니다.

데이터 정제 및 휴리스틱

고품질 훈련 데이터를 만들기 위해 OpenAI는 위키피디아 내부 링크의 노이즈를 해결하기 위해 Wikidata 속성 그래프를 활용했습니다. 이 과정은 타입 자체보다는 타입의 특정 인스턴스를 링크하는アナ포라(anaphora)와 별명에서 링크하는 메토니미(metonymy)와 같은 문제를 해결합니다.

예를 들어, 시스템은 휴리스틱하게 링크를 그들의 'generic' 의미로 변환하여, 단어 'king'과 관련된 엔티티 수를 974에서 14로 크게 줄이고, 'queen'에서 'monarch' 카테고리로의 링크 수를 32에서 3,553으로 증가시켰습니다.

타입 시스템 학습

최적의 타입 시스템을 선택하는 것은 정확한 해를 구하기에는 가능한 카테고리 세트의 수가 너무 많아 복잡한 작업입니다. OpenAI는 두 가지 핵심 요소 사이의 균형을 찾기 위해 휴리스틱 탐색, 확률적 최적화(진화 알고리즘), 그리고 경사 하강법을 사용했습니다.

학습 가능성: 컨텍스트에서 타입 소속을 예측하는 분류기의 평균 곡선 아래 영역(AUC)으로 측정됩니다. 높은 AUC는 신경망이 타입을 쉽게 추론할 수 있음을 나타냅니다.
오라클 정확도: 모든 타입이 완벽히 예측되었다고 가정했을 때 엔티티가 얼마나 잘 디스암비게이션되는지를 측정하는 지표입니다.

신경 타입 시스템 구현

최적화된 타입 시스템을 사용하여 OpenAI는 영어와 프랑스어 모두에 대해 4억 개의 토큰 पर 양방향 LSTM을 훈련시켰습니다. 모델은 위키 내부 링크에만 감독을 적용하여 훈련되었지만, 타입 소속 예측에 대해 F1 점수가 0.91 이상을 달성했습니다.

발견된 타입 중 일부는 Aviation, Clothing, Games와 같은 광범위한 카테고리를 포함하며, 또한 1754 in Canada와 같은 매우 구체적인 타입도 포함됩니다.

추론 및 복잡도

문서 내 서로 다른 엔티티 간의 일관성 메트릭에 의존하는 기존 엔티티 디스암비게이션 방법과 달리(이로 인해 $O(N^2)$ 복잡도가 발생), 이 시스템은 $O(N)$ 런타임으로 작동합니다. 트라이를 사용하여 구문을 식별하고, 위키피디아 링크 빈도에 기반하여 가능한 엔티티를 순위 매긴 후, 타입 분류기가 제공하는 가능도로 이를 정제합니다.