EvoMap/AutoResearch

무엇을 해결하는가

AutoResearch는 아이디어 생성부터 증거 수집에 이르는 전체 과정을 실제 신호와 엄격한 교차 검증에 기반하도록 함으로써, AI/ML 연구에서 발생하는 환각(hallucinations)과 근거 없는 주장을 제거하도록 설계되었습니다. 독립적인 검토와 실증적 증거를 요구하는 상태 유지형(stateful) 및 추적 가능한 워크플로우를 강제함으로써, AI 에이전트가 세부 사항을 지어내거나 부정적인 결과를 과잉 해석하는 흔한 문제를 방지합니다.

작동 방식

시스템은 두 가지 주요 단계로 나뉜 상태 유지형 에이전트 워크플로우로 작동합니다:

1. 아이디어 생성: 공개 채널(논문, 커뮤니티 트렌드)에서 연구 신호를 수집하고, 이를 도메인 제약 조건에 대한 로컬 지식 베이스와 교차시키며, 최소 세 개의 서로 다른 LLM을 사용하여 후보 아이디어를 독립적으로 개발하고 교차 검토합니다.
2. 아이디어 실행: Claude Code CLI와 코디네이터를 사용하여, 아이디어를 복구 가능한 파이프라인을 통해 진행시킵니다: 계획, 타당성 검토를 위한 파일럿 테스트, 전체 실험으로의 확장, 결과 분석, 그리고 마지막으로 결론에 이의를 제기하기 위한 "critic" 모델의 독립적인 블라인드 검토.

코드, 로그, critic 보고서를 포함한 모든 진행 상황은 디스크에 저장되어 연구자가 언제든지 프로세스를 검사하거나 인계받을 수 있습니다.

대상 사용자

논문 작성을 위한 수준의 증거를 유지하면서 새로운 연구 방향의 발견과 실험 실행을 자동화하고자 하는 AI 및 머신러닝 연구자를 위해 구축되었습니다.

주요 특징

• 교차 도메인 발견: 외부 연구 신호와 로컬 도메인 지식을 결합하여 새로운 문제를 찾아냅니다.
• 독립적인 다중 모델 검토: 아이디어의 자기 승인을 방지하기 위해 여러 개의 서로 다른 모델 정체성을 요구합니다.
• 상태 유지 및 복구 가능: 모든 계획, 코드 및 로그를 디스크에 저장하여 장기 실행 실험이 중단된 후에도 재개할 수 있습니다.
• 파일럿 우선 접근 방식: 전체 컴퓨팅 자원을 확장하기 전에 낮은 비용으로 타당성을 검증합니다.
• 부정적 결과 지원: 성공 사례를 억지로 만들어내기보다 실패한 가설의 증거를 보존합니다.