axoviq-ai/synthadoc

해결하는 문제

Synthadoc은 전통적인 검색 증강 생성(RAG) 시스템의 한계를 해결합니다. RAG 시스템은 일반적으로 쿼리 시 문서 청크를 요약하지만, Synthadoc은 인게스팅(수집) 시점에 지식을 합성하여 원본 소스 문서를 구조화되고 지속 가능한 위키로 변환합니다. 이 접근 방식은 모순이 조용히 혼합되는 것을 방지하고, 주장이 특정 소스에 추적 가능하게 하며, 도구에 의존하지 않는 영구적인 지식 자산을 생성합니다.

작동 방식

Synthadoc은 PDF, 스프레드시트, PPT, 웹 페이지, 이미지, 동영상, Word 파일, TXT, AI 세션 트랜스크립트 등 다양한 소스 형식을 읽어내고, LLM을 사용하여 로컬 Markdown 기반 위키로 합성합니다. 자동으로 [[wikilinks]]를 사용해 크로스 참조를 구축하며, 5단계 라이프사이클 머신(draft → active → contradicted/stale → archived)을 사용해 페이지 상태를 관리합니다. 시스템은 과장된 주장에 대해 두 번째 LLM을 활용한 적대적 검토를 수행하고, 고립된 페이지와 손상된 인용을 탐지하는 린팅 프로세스를 포함합니다.

대상 사용자

• 개인 연구자 및 인디 해커 : 무료 또는 로컬 LLM 모델을 사용해 개인 연구 위키가 필요한 사람.
• 소규모 팀 : 모순을 자동으로 해결하고 조직의 성장에 따라 확장 가능한 중앙 집중식 내부 지식 기반을 필요로 하는 사람.
• 기업 : 준수 감시가 필요한 로컬 우선 지식 기반을 필요로 하며, 감사 추적 기록과 CI/CD 통합(후크를 통해)을 지원하는 사람.

주요 기능

• 인게스팅 시 합성 : 쿼리 시 재요약하는 대신, 인게스팅 시 소스를 위키로 컴파일.
• 모순 검출 : 충돌하는 주장은 status: contradicted로 표시하여 인간 검토 또는 자동 해결 가능.
• 주장 수준의 출처 추적 : 각 주장에 ^[file:L-L] 형식의 인라인 인용을 제공해 원본 라인에 연결.
• 로컬 우선 아키텍처 : 데이터를 일반 Markdown 파일로 저장하여 벤더 종속성 없이 Obsidian 등 도구와 호환.
• 지식 그래프 시각화 : Louvain 클러스터링을 사용해 가중치 기반 지식 그래프를 생성해 페이지 간 관계를 시각화.
• 적대적 검토 : 두 번째 LLM 프로세스를 사용해 근거 없는 최고급 표현과 논란의 여지 있는 사실을 탐지.