microsoft/skill-recorder

해결하는 문제

AI 에이전트를 위한 상세 지침을 작성하는 수동 작업을 제거합니다. 프로세스를 직접 문서화하는 대신, 사용자가 작업을 한 번 수행하는 것을 녹화하기만 하면 시스템이 해당 데모를 에이전트가 실행할 수 있는 재사용 가능한 기술 또는 자동화로 자동 변환합니다.

작동 방식

Skill Recorder는 클릭, 창 전환, 브라우저 URL 및 선택적 음성 나레이션을 포함한 사용자의 화면 활동을 캡처합니다. 이 데이터는 먼저 로컬에서 처리된 다음 GitHub Copilot CLI로 전송되며, CLI는 세션을 분석하여 사용자의 의도와 일련의 단계를 재구성합니다. 그런 다음 시스템은 온디맨드 에이전트 사용을 위한 SKILL.md 절차 또는 예약된 자동화를 생성합니다. 단순히 UI 클릭을 재생하는 것이 아니라, 결과물인 기술은 프로세스를 일반화하고 견고하게 만들기 위해 에이전트의 네이티브 도구(예: gh CLI)를 선호합니다.

대상 사용자

복잡한 프롬프트나 수동 단계별 가이드를 작성하지 않고 AI 에이전트에게 특정 작업 수행 방법을 빠르게 가르치고 싶은 사용자.

주요 특징

• 자동 재구성: GitHub Copilot을 사용하여 원본 화면 녹화를 구조화된 의도 및 순서가 있는 단계로 변환합니다.
• 네이티브 도구 선호: 취약한 UI 매크로 대신 에이전트의 네이티브 도구(예: web_fetch)를 활용하는 지침을 생성합니다.
• 온디바이스 처리: 녹화, 프레임 추출 및 나레이션 전사(Whisper를 통해)는 사용자의 로컬 머신에서 수행됩니다。
• 일반화: 단일 예시(예: 양식 제출)를 여러 유사한 작업을 처리할 수 있는 일반적인 기술로 변환할 수 있습니다.