superwesleyhys-ux/factcircuit

해결하는 문제

FactCircuit은 시스템이 투명하고 감사 가능한 증거 흔적을 제공하지 않고 단순히 true/false 레이블을 반환하는 "원샷" 사실 확인 문제를 해결합니다. 소스 개정을 무시하거나, 신디케이트된 기사를 독립적인 소스로 혼동하거나, 특정 검색이 수행된 이유를 추적하지 못하는 등의 일반적인 검증 실패를 방지합니다.

작동 방식

이 프로젝트는 검증을 단일 프롬프트가 아닌 다단계 루프로 취급하는 재현 가능한 "증거 회로"를 구현합니다. 어댑터 기반 Python 하네스를 사용하여 다음 프로세스를 관리합니다:

1. 불변 스냅샷: 모든 증거는 버전 관리되고 해시되어 URL의 개정이 이전 데이터를 덮어쓰지 않도록 합니다.
2. 분해: 검색된 문서는 원자적 주장(atoms)으로 분해되고 증거 그래프에 허용되기 전에 계보가 분석됩니다.
3. 관심사 분리: 시스템은 스냅샷이 주장을 지원하는지(증거 비평가)와 사건이 실제로 현실 세계에서 발생했는지(세계 비평가)를 구분합니다.
4. 경계 루프: 프로세스는 라운드, 시간 및 토큰 예산에 의해 제한됩니다. 정보가 누락된 경우 데이터를 가져오거나 재분석하기 위한 특정 작업을 내보내고, 이는 다시 루프에 들어갑니다.
5. 모델 터널: 로컬 Codex CLI 기본값, OpenAI API 및 Anthropic API를 포함한 여러 추론 경로를 지원합니다.

대상 사용자

감사 가능한 AI 검증 시스템을 구축하는 연구원 및 개발자, 특히 변화하는 뉴스 증거를 다루고 높은 출처 추적이 필요한 사실 확인을 필요로 하는 사람들.

하이라이트

• 감사 가능한 추적: 소스 범위, 타임스탬프 및 리소스 사용량을 포함한 검증의 정확한 경로를 보존합니다.
• 버전 관리된 증거: 동일 URL의 개정을 별개의 아이덴티티로 취급하여 검증 중 데이터 손실을 방지합니다.
• 중점 평가 툴킷: 정밀도, 재현율 및 확률 품질을 측정하기 위한 포괄적인 메트릭 스위트(VP, FR, TR, SR, EN, CA, HFAR)를 포함합니다.
• 오프라인 기능: 핵심 표준 라이브러리 하네스는 증거 루프를 테스트하기 위해 수작성 주석을 사용하여 완전히 오프라인으로 실행할 수 있습니다.
• 이중 루프 실행기: 모델이 후속 검색 작업을 선택하고 이전 발견의 재분석을 요청하는 고급 모드.