TianyuCodings/JevHarness

해결 과제

JevHarness는 작업의 모든 단계에서 대규모의 추론 집약적인 LLM을 사용할 때 발생하는 높은 지연 시간과 비용 문제를 해결합니다. 개발자는 반복적이고 상황에 민감한 의사결정을 더 빠르고 가벼운 판단 엔진(Jev)에 오프로드하고, 복잡한 추론 로직은 구조화된 '고정된' harness 내에 유지할 수 있습니다.

작동 방식

작성용 LLM이 Python 코드, 구조화된 지침, Jev 전용 기준을 결합한 작업별 harness를 생성합니다. 이 harness는 작업 관찰 결과를 특징으로 처리하고, 해당 특징을 기반으로 Jev를 사용하여 빠르고 유연한 의사결정을 내립니다. harness가 개발 및 검증되면 이를 고정하여 작성용 LLM과 독립적으로 실행할 수 있습니다. 이 프레임워크는 실행 추적과 보상을 사용하여 harness를 반복적으로 개선하는 리플렉션을 통한 선택적 최적화를 지원합니다.

대상 사용자

이 프로젝트는 높은 수준의 추론과 낮은 지연 시간, 신뢰할 수 있는 실행 사이의 균형을 맞춰야 하는 에이전트 워크플로우를 구축하는 개발자와 AI 엔지니어를 위한 것입니다. 게임 플레이 에이전트나 자동 라우팅 시스템과 같이 정의된 환경 내에서 반복적이고 신속한 의사결정이 필요한 작업에 특히 유용합니다.

주요 특징

• 하이브리드 실행: 작성용 LLM의 깊은 추론과 가벼운 Jev 판단 호출의 속도를 결합합니다.
• 반복적 최적화: 실제 실행 추적을 기반으로 harness 성능을 향상시키기 위한 리플렉션 및 후보 선택(GEPA) 지원이 포함되어 있습니다.
• Claude Code 통합: 에이전트가 개발 환경 내에서 직접 harness를 구축, 테스트 및 개선할 수 있도록 돕는 Claude Code용 플러그인을 제공합니다.
• 투명한 디버깅: 의사결정 기록을 검사하고, 진화 트리를 확인하며, 실행 추적을 재생하여 harness가 특정 행동에 도달한 방식을 이해할 수 있는 도구가 포함되어 있습니다.