RyanAlberts/best-of-Agent-Harnesses

이것은 무엇인가

best-of-Agent-Harnesses는 AI **"에이전트 하니스(agent harness)"**라는 하나의 아이디어를 중심으로 하는 약 166개의 오픈 소스 프로젝트를 큐레이팅하고 순위를 매긴 목록입니다. 이는 답변하는 언어 모델을 행동하는 에이전트로 바꾸는 런타임 기계 장치입니다.

README의 명확한 정의(Simon Willison의 정의): "LLM 에이전트는 목표를 달성하기 위해 루프 내에서 도구를 실행한다." 하니스는 그 루프 주변의 모든 것입니다. 어떤 도구가 존재하는지, 무엇이 승인을 필요로 하는지, 모델이 매 턴마다 무엇을 보는지, 그리고 충돌 후 무엇이 살아남는지 등이 포함됩니다. Andrej Karpathy의 표현을 빌리자면, 모델은 *"새로운 운영 체제의 커널 프로세스"*이고 하니스는 그 OS의 나머지 부분(스케줄러, 권한, 메모리)입니다.

왜 중요한가

에이전트는 행동하기 때문에 실패하기도 합니다. 재시도 로직, 샌드박싱, 가드레일과 같은 하니스 품질이 에이전트의 실제 배포 가능 여부를 결정합니다. 이 저장소는 이를 뒷받침하기 위해 벤치마크 데이터를 인용합니다. 예를 들어, 하니스를 교체하는 것이 많은 모델 업그레이드보다 통과율을 더 많이 변화시켰습니다(한 모델에서 pass@1이 23%에서 52%로, 다른 모델에서는 15%에서 36%로 향상; ARC-AGI-3에서 기본 모델은 약 30%였으나 적절한 하니스 하에서는 95.5% 기록). 또한 하니스 순위는 모델 간에 거의 이전되지 않으므로(순위 상관관계 -0.05), 한 모델에 적합한 하니스가 다른 모델에는 부적합할 수 있습니다. 이것이 바로 이 저장소가 하니스와 모델을 매칭하는 데 도움을 주는 쿼리 도구를 제공하는 이유입니다(아래 참조).

저장소 내용

• 목록 자체. 프로젝트는 하니스 관련성(환경, 오케스트레이션, 수명 주기, 가드레일) 및 GitHub 별점/활동량에 따라 순위가 매겨지며, 교차 필터링을 위한 태그 칩(mcp, memory 등)이 포함되어 있습니다. 전체 환경을 보여주는 두 가지 시각적 지도가 있습니다. 하나는 "채택 표면적"(단순성↔능력)과 별점을 플롯한 것이고, 다른 하나는 자율성(비감독 정도)과 복구력(실행이 중단될 때 발생하는 일)을 플롯한 것입니다. 표에서 ★은 헤드리스 준비 완료 프로젝트를, ✱은 내구성이 뛰어난 프로젝트를 나타냅니다.
• 의사결정 가이드("비교" 페이지). 터미널 코딩 에이전트, 멀티 에이전트 오케스트레이션 프레임워크, 메모리 계층, 샌드박싱, 브라우저 에이전트, 평가 플랫폼 등 일반적인 선택지에 대한 가이드와 왜 모델보다 하니스가 더 중요한가, 하니스를 선택하는 방법과 같은 수준 높은 에세이가 포함되어 있습니다.
• 템플릿 및 플레이북. 복사-붙여넣기 설정 파일(7가지 코딩 도구에서 작동하는 AGENTS.md, 안전한 Claude Code 권한 설정, 약 180줄의 Python 최소 에이전트 하니스 등)과 "한 시간 안에 나만의 하니스 만들기" 단계별 가이드.
• 스킬(10개의 설치 가능). 에이전트가 로드하여 사용자의 컴퓨터에서 실행하고 감사 가능한 결과를 보고하는 작은 스크립트. 자신의 저장소 작업에서 코딩 에이전트를 테스트하고, 에이전트가 실제로 로드하는 지침 파일을 확인하고, 약 90개의 위험한 명령에 대한 가드레일을 검증하고, 거짓 "테스트 통과" 주장을 감지하고, 토큰 및 비용 낭비 지점을 찾는 등의 작업을 수행합니다. 파일을 변경하거나 비용을 지출하는 모든 작업은 사용자의 명시적인 승인을 기다립니다.
• 검색 가능한 웹사이트(하니스당 한 페이지, 능력, 자율성, 복구력으로 필터링).
• 에이전트 자체를 위한 기계 판독 가능 액세스: MCP 서버(recommend 및 pick_harness와 같은 명령 포함)와 llms.txt 및 harnesses.json을 통해 에이전트가 다른 사람이 벤치마크한 하니스를 상속받는 대신, 자신의 모델과 작업에 맞는 하니스를 목록에서 직접 쿼리하고 추천받을 수 있습니다.(MCP 서버는 AI 에이전트가 외부 도구와 데이터를 호출할 수 있게 하는 표준 인터페이스입니다.)

README는 "사용 사례별 선택" 인덱스로 마무리됩니다. "오늘 바로 사용하는 턴키 코딩 에이전트", "채팅 앱에 상주하는 개인 에이전트", "메모리 계층", "멀티 에이전트 오케스트레이션", "브라우저 에이전트", "샌드박스 코드 실행", "에이전트 평가/벤치마크" 등 수십 개의 카테고리가 있으며, 각각 짧은 목록과 관련 표 섹션을 가리킵니다.

주의 사항

기여를 환영하며(배지 참조), 프로젝트 전체가 자체 프레임워크의 한계를 인정하고 별도의 페이지(누가 말했는지, 무엇을 측정했는지, 그 주장이 무엇을 의미하지 않는지)를 가리키고 있습니다. 이 목록은 의도적으로 주관적입니다. Anthropic의 *"단순하게 구축하라"*는 조언을 인용하며 프레임워크의 배관보다 하니스 품질에 투자합니다.