davebcn87/pi-autoresearch

해결하는 문제

pi-autoresearch는 pi AI 코딩 에이전트에 자율 최적화 루프를 제공합니다. 에이전트는 아이디어를 시도하고, 결과를 벤치마킹하고, 개선 사항을 유지하고, 인간의 개입 없이 회귀를 되돌리는 것을 반복적으로 수행할 수 있어, 성능 튜닝이나 메트릭 최적화의 지루한 과정을 자동화합니다.

작동 방식

이 프로젝트는 인프라(확장 프로그램)와 도메인 지식(스킬)을 분리합니다. 에이전트는 세션을 초기화하고, 벤치마크 명령을 실행하고, 결과를 기록하는 도구 세트를 사용합니다. 모든 세션 상태(목표, 메트릭, 각 실행의 기록 포함)는 프롬프트 파일과 JSONL 로그를 포함하는 .auto/ 디렉토리에 영구 저장됩니다. 이를 통해 에이전트는 재시작이나 컨텍스트 재설정 후에도 작업을 재개할 수 있습니다. 품질을 보장하기 위해 선택적 백프레셔 검사(테스트/린팅)를 지원하고, 중앙 절대 편차(MAD)를 사용하여 신뢰 점수를 계산하여 에이전트가 실제 개선과 벤치마크 노이즈를 구분하는 데 도움을 줍니다.

대상 사용자

pi AI 코딩 에이전트를 사용하는 개발자로, 테스트 실행 시간, 번들 크기, LLM 훈련 손실, 빌드 속도, Lighthouse 성능 점수와 같은 특정 목표의 최적화를 자동화하려는 사람들.

주요 특징

• 자율 루프: 완전 자동화된 편집-커밋-벤치마크-되돌리기 사이클.
• 영속성: 세션 상태가 디스크에 저장되어, 대화 압축 후 에이전트가 컨텍스트를 재수화할 수 있습니다.
• 신뢰 점수: 통계적 노이즈 추정을 사용하여 개선이 실제인지 한계적인지 플래그를 지정합니다.
• 검토 가능한 출력: 최종화 스킬이 성공적인 실험을 깨끗하고 독립적인 git 브랜치로 그룹화하여 인간 검토를 받습니다.
• 확장성: 외부 연구나 알림과 같은 작업을 위한 반복 전후 훅을 지원합니다.