OpSafari/hypoarena

해결하는 문제

"AI 공동 연구자" 파이프라인의 기초 메커니즘을 테스트하고 개발할 수 있는 완전한 오프라인 워크벤치를 제공합니다. 실시간 LLM에 의존하지 않고, 연구자들이 가설 생성, 증거 검증, 순위 매기기와 같은 특정 구성 요소를 분리하여 합성 데이터를 사용해 시스템의 논리가 타당한지 확인할 수 있습니다. 실제 과학적 발견에 배포하기 전에 말이죠.

작동 방식

이 프로젝트는 과학적 발견 과정을 테스트 가능한 단계로 분해합니다:

• 합성 문헌: 인과 관계를 심고 노이즈를 포함한 결정론적 코퍼스를 생성하여 회복률을 테스트합니다.
• 생성-토론-진화 루프: 메커니즘 크로스오버와 주장 분해와 같은 진화 연산자를 사용해 제안, 비판, 수정을 반복하는 플러그인 가능한 에이전트 어댑터를 사용합니다.
• 검증 및 중복 제거: 스팬 수준의 근거 확인(인용 및 엔티티 중복)을 수행하고, TF-IDF 또는 MinHash LSH를 사용해 중복된 가설을 제거합니다.
• 순위 매기기 및 축적: 브래디-테리/에로 토너먼트를 사용해 평가 기준에 따라 가설을 순위 매기고, 베이지안 업데이트를 통해 증거를 축적합니다.
• 보고서 생성: 네트워크 접근 없이 바이트 수준에서 동일한 Markdown 및 HTML 보고서를 생성합니다.

대상 사용자

과학적 발견을 위한 AI 에이전트를 개발하는 연구자 및 개발자로, 가설 발견 파이프라인의 논리와 성능을 검증하기 위해 제어된 오프라인 환경이 필요한 사람들을 대상으로 합니다.

주요 특징

• 완전한 오프라인: 네트워크 접근, 실제 모델, 가중치 다운로드 없이 작동하며 주로 NumPy에 의존합니다.
• 결정론적 아티팩트: 캐논ical 시리얼라이저를 통해 플랫폼 간에 바이트 수준 동일한 출력을 보장합니다.
• 포괄적인 도구 세트: 합성 코퍼스 생성에서 베이지안 증거 축적까지 전반적인 구성 요소를 포함합니다.
• 근거 검증: 적대적 테스트 케이스를 사용해 위조된 인용 및 편차된 수치를 특별히 검증합니다.