stanford-iris-lab/meta-harness

해결하는 문제

Meta-Harness는 고정된 기본 모델의 성능을 특정 작업에서 최대화하기 위해 수동으로 설계된 '하네스'(주변 코드, 메모리 시스템, 검색 로직) 문제를 해결합니다. 모델 자체를 재학습하지 않고도, 모델이 성공하는 데 도움이 되는 가장 효과적인 코드 기반 하네스를 자동으로 탐색하는 프레임워크입니다.

작동 방식

이 프레임워크는 동결된 기본 모델 주변의 코드를 최적화하는 자동 탐색 루프를 구현합니다. Claude Code와 같은 '제안 에이전트'가 하네스 코드를 제안하고 반복적으로 개선하며, 그 코드는 작업에 대해 평가됩니다. 도메인 사양(domain_spec.md)을 정의하고 제안 에이전트의 상호작용을 로깅하는 래퍼를 제공함으로써 다양한 분야에 적용할 수 있습니다.

대상 사용자

모델의 재학습이나 파인튜닝의 비용 없이 특정 작업에서 모델 성능을 향상시키고자 하는 연구자 및 개발자, 특히 에이전트, 메모리 시스템, 검색 증강 생성(RAG) 하네스에 종사하는 사람들에게 적합합니다.

주요 특징

• 자동 최적화: 모델 학습에서 하네스 코드의 진화로 초점을 전환합니다.
• 확장 가능한 프레임워크: 새로운 도메인에 최적화 루프를 적용할 수 있도록 온보딩 흐름을 포함합니다.
• 참고 실험: 텍스트 분류용 메모리 시스템 및 Terminal-Bench 2.0용 하네스 진화의 구현을 제공합니다.
• 에이전트 독립적: 예시에서는 Claude Code를 사용하지만, 사용자 정의 래퍼를 통해 다른 제안 에이전트도 지원합니다.