microsoft/SkillOpt

해결하는 문제

SkillOpt는 에이전트 스킬이 일관되지 않거나 수동으로 제작되는 문제를 해결합니다. 대부분의 AI 에이전트 스킬은 수동으로 작성되거나 LLM에 의해 단 한 번 생성되므로, 피드백을 바탕으로 시간이 지남에 따라 신뢰할 수 있게 개선되는 경우가 드뭅니다. SkillOpt는 기본 모델의 가중치를 수정할 필요 없이 이러한 스킬을 최적화할 수 있는 체계적이고 재현 가능한 방법을 제공합니다.

작동 방식

SkillOpt는 스킬 문서(Markdown 파일)를 고정된 LLM의 "학습 가능한 상태"로 취급합니다. 별도의 옵티마이저 모델을 사용하여 rollout, reflection, aggregation, selection, update로 구성된 학습 루프를 통해 이 문서를 반복적으로 개선합니다.

주요 메커니즘은 다음과 같습니다:

• Validation Gates: 스킬 문서에 대한 후보 편집은 검증용 점수를 엄격하게 향상시키는 경우에만 수락됩니다.
• Optimization Parameters: epoch, batch size, learning rate와 같은 딥러닝 개념을 텍스트 편집에 적용합니다.
• SkillOpt-Sleep: 과거 세션을 수집하고, 작업을 재현하며, "수면" 기간 동안 검증된 스킬을 통합하는 오프라인 엔진입니다.
• Zero Overhead: 최종 출력이 컴팩트한 Markdown 파일 (best_skill.md)이므로 실제 배포 중에 추가적인 모델 호출이 필요하지 않습니다.

대상 사용자

Claude Code, Codex 또는 Copilot을 사용하는 개발자 중, 다양한 벤치마크와 하네스에서 에이전트의 역량과 성능을 자동으로 업그레이드하고자 하는 AI 에이전트 구축자를 위해 설계되었습니다.

주요 특징

• Model Agnostic: OpenAI, Azure, Claude, Qwen, MiniMax를 포함한 다양한 백엔드에서 작동합니다.
• High Performance: 여러 벤치마크에서 GPT-5.5를 대상으로 상당한 정확도 향상(최대 +24.8 포인트)을 입증했습니다.
• Transferable: 최적화된 스킬은 서로 다른 모델 규모 및 실행 하네스 간에 전송될 수 있습니다。
• Offline Evolution: 로컬 코딩 에이전트를 위한 야간 자가 진화 엔진이 포함되어 있습니다.