microsoft/skill-recorder

解決的問題

它消除了為 AI 代理編寫詳細指令的人工工作。使用者無需手動記錄流程，只需錄製一次任務執行過程，系統就會自動將該演示轉換為代理可以執行的可重用技能或自動化流程。

工作原理

Skill Recorder 捕捉使用者的螢幕活動，包括點擊、視窗切換、瀏覽器 URL 以及選用的語音旁白。這些數據首先在本地進行處理，然後傳送到 GitHub Copilot CLI，由其分析會話以重構使用者的意圖和一系列步驟。隨後，系統會生成用於按需代理使用的 SKILL.md 步驟，或是排程自動化任務。生成的技能並非僅僅重放 UI 點擊，而是傾向於使用代理的原生工具（例如 gh CLI），以確保流程的通用性與魯棒性。

適用對象

希望在不編寫複雜提示詞或手動分步指南的情況下，快速教導 AI 代理執行特定工作任務的使用者。

亮點

• 自動重構： 利用 GitHub Copilot 將原始螢幕錄製轉換為結構化的意圖和有序的步驟。
• 原生工具偏好： 生成利用代理的原生工具（如 web_fetch）而非脆弱的 UI 宏的指令。
• 裝置端處理： 錄製、影格提取和旁白轉錄（透過 Whisper）都在使用者的本地機器上完成。
• 泛化能力： 可以將單個範例（例如提交一個表單）轉換為能夠處理多個類似任務的通用技能。