microsoft/skill-recorder

Desktop app that records your on-screen work session and uses the GitHub Copilot SDK to reconstruct it as an intent + ordered steps, then builds a reusable Skill or Automation for Microsoft Autopilots like Scout, Microsoft Copilot Cowork, or Copilot Studio.

解決する課題

Skill Recorderは、複雑な自動化スクリプトを手動で記述する必要性を排除します。一度操作を記録するだけでAIエージェントにタスクの実行方法を教えることができ、操作を再利用可能な手順に変換します。

仕組み

  1. 記録: 画面上のアクティビティ、ターミナルコマンド、およびオプションのナレーションをローカルでキャプチャします。
  2. 分析: GitHub Copilotを使用して、セッションを明確で順序立てられたステップリストと全体的な意図に再構築します。
  3. 作成: 生成されたプランを確認・修正し、「スキル」(オンデマンド使用)または「自動化」(スケジュールタスク)に変換します。システムは単純なUIクリックよりも gh CLI コマンドのようなネイティブツールを優先して使用するため、結果として得られる自動化はより堅牢になります。

対象ユーザー

コードをゼロから書かずに反復的なワークフローを自動化したいユーザー向けに設計されています(Copilotアクセス権を持つGitHubアカウントが必要です)。

ハイライト

  • 汎用化: 特定のクリックを再生するだけでなく、タスクを広範に実行する方法(例:すべてのフォームを送信する)を学習します。
  • プライバシー重視: 記録と文字起こしはローカルマシン上で行われ、分析ステップを明示的にトリガーした時のみデータがクラウドに送信されます。
  • 柔軟な入力: ライブ画面録画、または既存の MP4/WebM ビデオファイルのインポートをサポートしています。
  • ネイティブツール統合: gh CLI や web_fetch などの組み込みエージェントツールを優先的に使用し、よりクリーンで信頼性の高い実行を実現します。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト