remorses/usecomputer

何を解決するか

usecomputer は AI エージェントがコンピュータのデスクトップ環境とやり取りできる方法を提供します。これは、LLM の意思決定と macOS、Linux、Windows 上でのマウスおよびキーボード操作の実行の間のギャップを埋める問題を解決します。

動作方法

これは CLI ツールであり、ネイティブの Zig バイナリをバックエンドに持つ Node.js ライブラリです。エージェントがスクリーンショットを撮影し、マウスを移動させ、クリックし、ドラッグし、テキストを入力できるようにします。正確性を確保するために、「coord-map」システムを使用しており、LLM の視覚モデルに最適化されたスケーリングされたスクリーンショットの座標を、実際の画面座標に戻す処理を行います。

対象ユーザー

Claude Code や OpenCode などのツールを使用している AI エージェントを開発しており、デスクトップタスクの自動化や GUI アプリケーションとのやり取りが必要な開発者です。

特徴

• クロスプラットフォーム対応: macOS、Linux (X11)、Windows で動作します。
• 座標マッピング: モデルに優しいスクリーンショットと実際の画面ピクセル間のスケーリングを自動で処理します。
• ウィンドウスコープのキャプチャ: 特定のアプリケーションウィンドウをキャプチャすることで、モデルの注目と精度を向上させます。
• 高度な入力: 2次ベジェ制御点を使用したカーブドドラッグパスをサポートし、macOS では SSE を通じたグローバル入力イベントストリーミングも可能。
• エージェントフレンドリーな出力: Kitty Graphics Protocol と統合され、画像をエージェントのコンテキストウィンドウに直接送信できます。