oomol-lab/spinedigest

distill any book down to its spine

해결하는 문제

Wiki Graph는 LLM을 위한 긴 텍스트 지식 베이스 관리 문제를 해결합니다. AI가 매 쿼리마다 원본 소스 자료를 처음부터 처리하도록 강제하는 대신, 긴 텍스트를 내구성이 있고 유지 관리 및 추적이 가능한 지식 베이스로 컴파일합니다. 이를 통해 반복적인 추출 필요성을 방지하고, 지식을 공개 엔티티 및 검증 가능한 소스 증거에 그라운딩하여 환각(hallucination)을 줄입니다.

작동 방식

CLI를 사용하여 긴 텍스트를 .wikg 아카이브로 처리합니다. 시스템은 주로 WikiSpine를 통해 Wikipedia 및 Wikidata의 공개 엔티티와 정렬함으로써 텍스트에서 엔티티와 관계(triples)를 추출합니다. 이는 사적으로 진화하는 스키마에 의존하는 대신 공유된 공개 사전을 사용함으로써 안정성을 보장합니다.

주요 구성 요소는 다음과 같습니다:

  • Knowledge Graph: 사용자가 관련 개념을 탐색할 수 있도록 하는 엔티티와 트리플(subject --predicate--> object)의 네트워크.
  • Evidence Tracking: 모든 엔티티와 관계는 검증을 위해 소스 텍스트의 특정 장 및 원래 문장으로 연결됩니다.
  • Reading Graph: 요약을 위해 도구는 텍스트를 인지적 청크로 분할하고 관련성에 따라 연결하여 소스로 추적 가능한 압축된 요약을 생성합니다.
  • URI System: 지식 베이스 내의 특정 범위 또는 객체를 주소 지정하고 조작하는 데 사용되는 안정적인 핸들 시스템(예: wikg://archive/entity/QID).

대상 사용자

대량의 텍스트(PDF, EPUB, 웹 페이지 등)를 수집하여 구조화되고 검색 가능하며 검증 가능한 지식 베이스로 변환해야 하는 AI 에이전트 워크플로우를 구축하는 개발자를 위해 설계되었습니다.

주요 특징

  • 소스 추적 가능성: 추출된 모든 지식은 원본 소스 문장으로 추적할 수 있습니다.
  • 공개 엔티티 그라운딩: Wikidata/Wikipedia QID를 사용하여 서로 다른 문서 간에 일관된 엔티티 식별을 보장합니다.
  • 이식 가능한 아카이브: 모든 것을 공유, 백업 또는 이동할 수 있는 .wikg 파일에 저장합니다。
  • 구조화된 탐색: 단순한 키워드 검색이 아닌 엔티티와 관계의 그래프를 통해 지식 베이스를 쿼리할 수 있습니다.