remorses/usecomputer

它解决了什么问题

usecomputer 为 AI 代理提供了一种与计算机桌面环境交互的方式。它解决了大型语言模型（LLM）决策与在 macOS、Linux 和 Windows 上实际执行鼠标和键盘操作之间的鸿沟问题。

它如何工作

它是一个 CLI 工具和基于原生 Zig 二进制文件的 Node.js 库。它允许代理获取屏幕截图、移动鼠标、点击、拖拽以及输入文本。为了确保准确性，它使用了“坐标映射”系统，将经过缩放的截图（针对 LLM 视觉模型优化）的坐标映射回实际屏幕坐标。

适用于谁

需要自动化桌面任务并交互 GUI 应用程序的 AI 代理开发者（例如使用 Claude Code 或 OpenCode 的开发者）。

主要特性

• 跨平台支持：支持 macOS、Linux（X11）和 Windows。
• 坐标映射：自动处理模型友好截图与真实屏幕像素之间的缩放问题。
• 窗口范围截图：可捕获特定应用程序窗口，以提升模型的关注度和准确性。
• 高级输入：支持使用二次贝塞尔控制点的曲线拖拽路径，以及在 macOS 上通过 SSE 的全局输入事件流。
• 代理友好输出：通过 Kitty Graphics Protocol 直接将图像发送到代理的上下文窗口。