remorses/usecomputer

它解決的問題

usecomputer 為 AI 代理提供了一種與電腦桌面環境互動的方式。它解決了大型語言模型（LLM）決策與在 macOS、Linux 和 Windows 上實際執行滑鼠和鍵盤操作之間的差距問題。

如何運作

這是一個 CLI 工具與 Node.js 庫，背後由原生 Zig 二進位檔支援。它允許代理進行螢幕截圖、移動滑鼠、點擊、拖曳以及輸入文字。為了確保精確度，它使用「座標映射」系統，將經過縮放的螢幕截圖（針對 LLM 視覺模型優化）的座標重新映射回實際螢幕座標。

適用對象

需要自動化桌面任務並與 GUI 應用程式互動的 AI 代理開發者（例如使用 Claude Code 或 OpenCode 的開發者）。

主要特色

• 跨平台支援：支援 macOS、Linux（X11）與 Windows。
• 座標映射：自動處理模型友好型螢幕截圖與實際螢幕像素之間的縮放問題。
• 視窗範圍截圖：可截取特定應用程式視窗，以提升模型的專注度與準確性。
• 進階輸入功能：支援使用二次貝茲控制點的曲線拖曳路徑，以及在 macOS 上透過 SSE 的全域輸入事件串流。
• 代理友善輸出：整合 Kitty Graphics 協定，可直接將影像傳送至代理的上下文視窗。