microsoft/skill-recorder

解决的问题

它消除了为 AI 智能体编写详细指令的人工工作。用户无需手动记录流程，只需录制一次任务执行过程，系统就会自动将该演示转换为智能体可以执行的可重用技能或自动化流程。

工作原理

Skill Recorder 捕获用户的屏幕活动，包括点击、窗口切换、浏览器 URL 以及可选的语音旁白。这些数据首先在本地进行处理，然后发送到 GitHub Copilot CLI，由其分析会话以重构用户的意图和一系列步骤。随后，系统会生成用于按需智能体使用的 SKILL.md 步骤，或者是定时自动化任务。生成的技能并非仅仅重放 UI 点击，而是倾向于使用智能体的原生工具（例如 gh CLI），以确保流程的通用性和鲁棒性。

适用对象

希望在不编写复杂提示词或手动分步指南的情况下，快速教导 AI 智能体执行特定工作任务的用户。

亮点

• 自动重构： 利用 GitHub Copilot 将原始屏幕录制转换为结构化的意图和有序的步骤。
• 原生工具偏好： 生成利用智能体原生工具（如 web_fetch）而非脆弱的 UI 宏的指令。
• 设备端处理： 录制、帧提取和旁白转录（通过 Whisper）都在用户的本地机器上完成。
• 泛化能力： 可以将单个示例（例如提交一个表单）转换为能够处理多个类似任务的通用技能。