oomol-lab/wiki-graph

해결하는 문제

Wiki Graph는 대량의 긴 텍스트(도서, 회의 기록, 내부 문서 등)를 유지 관리 가능한 구조화된 지식 베이스로 변환하여 관리 문제를 해결합니다. 모든 쿼리에 대해 LLM이 원본 자료를 처음부터 다시 읽도록 강제하는 대신, 텍스트를 엔티티와 관계가 추출되고 원본 소스로 추적 가능한 내구성 있는 형식으로 컴파일합니다.

작동 방식

이 도구는 CLI를 사용하여 텍스트를 .wikg 아카이브로 처리합니다. WikiSpine를 활용하여 Wikipedia/Wikidata QID와 일치하는 공개 엔티티를 식별함으로써 안정적인 시맨틱 기반을 제공합니다. 그 다음 LLM을 사용하여 모호성 해소 및 필터링을 수행합니다.

주요 구성 요소는 다음과 같습니다:

• Knowledge Graph: 엔티티와 트리플 (subject --predicate--> object)을 추출하여 구조화된 정보 네트워크를 생성합니다.
• Reading Graph: 텍스트를 인지적 청크로 분할하고 이를 읽기 체인으로 구성하여 압축되고 추적 가능한 요약을 생성합니다.
• Evidence Tracking: 추출된 모든 엔티티 또는 관계는 검증을 위해 소스 텍스트의 특정 장과 문장에 연결됩니다.
• URI System: 안정적인 URI 기반 주소 지정 시스템(예: wikg://book.wikg/entity/Q8018)을 사용하여 아카이브 내의 특정 범위 또는 객체에 액세스합니다.

대상 사용자

정보가 검색 가능하고, 검증 가능하며, 휴대 가능해야 하는 지식 집약적 워크플로우를 구축해야 하는 개발자 및 AI 에이전트 제작자를 위해 설계되었습니다. 특히 긴 텍스트 지식 생산을 위한 "LLM Wiki" 개념을 구현하려는 분들에게 유용합니다.

주요 특징

• 소스 추적 가능: 모든 지식은 원본 소스 텍스트를 가리키는 증거에 의해 뒷받침됩니다.
• 공개 엔티티 그라운딩: Wikidata/Wikipedia 정렬을 사용하여 안정성을 보장하고 순수 생성형 추출에서 흔히 발생하는 환각(hallucination)을 방지합니다.
• 휴대 가능한 지식: .wikg 형식을 통해 지식 베이스를 책이나 강의처럼 공유, 백업 및 전달할 수 있습니다.
• CLI 우선 설계: 에이전트 워크플로우에 쉽게 통합할 수 있도록 발견 가능한 도움말 네트워크를 갖춘 포괄적인 명령줄 인터페이스를 제공합니다.