microsoft/skill-recorder

解決する課題

AIエージェント向けの詳細な指示を手動で作成する手間を省きます。プロセスを手動で文書化する代わりに、ユーザーはタスクを一度実行して記録するだけで、システムがそのデモンストレーションをエージェントが実行可能な再利用可能なスキルまたは自動化へと自動的に変換します。

仕組み

Skill Recorderは、クリック、ウィンドウの切り替え、ブラウザのURL、およびオプションの音声ナレーションを含むユーザーの画面アクティビティをキャプチャします。このデータはまずローカルで処理され、次にGitHub Copilot CLIに送信されます。CLIはセッションを分析して、ユーザーの意図と一連の手順を再構成します。その後、システムはオンデマンドのエージェント用手順である SKILL.md またはスケジュールされた自動化を生成します。単にUIクリックを再生するのではなく、生成されたスキルはプロセスを汎用化し堅牢にするために、エージェントのネイティブツール（gh CLIなど）を優先的に使用します。

対象ユーザー

複雑なプロンプトや手動のステップバイステップガイドを書くことなく、AIエージェントに特定のワークタスクの実行方法を素早く教えたいユーザー。

ハイライト

• 自動再構成: GitHub Copilotを使用して、生の画面録画を構造化された意図と順序立てられた手順に変換します。
• ネイティブツールの優先: 脆弱なUIマクロではなく、エージェントのネイティブツール（web_fetch など）を活用した指示を生成します。
• デバイス上での処理: 録画、フレーム抽出、およびナレーションの文字起こし（Whisper経由）は、ユーザーのローカルマシン上で行われます。
• 汎用化: 単一の例（例：フォームの送信）を、複数の類似タスクを処理できる汎用的なスキルに変換できます。