vercel-labs/agent-desktop

Computer use CLI for AI agents

解決する課題

信頼性の低いピクセルベースの画面マッチングに頼るのではなく、OSのアクセシビリティツリーを読み取り操作することで、AIエージェントがデスクトップアプリケーションと対話できるようにします。

仕組み

このツールは、現在のデスクトップ状態のJSONスナップショットを生成するCLIおよびCライブラリを提供します。スナップショット内の各インタラクティブ要素には、一意の参照IDが割り当てられます。エージェントは、これらの特定のIDをターゲットにすることで、クリック、入力、スクロールなどのアクションを実行できます。このシステムは、UIの観察、参照へのアクション、そして結果を確認するための再観察というループのために設計されています。

対象ユーザー

macOS、Windows、またはLinux上のデスクトップアプリケーション内でタスクを実行する必要があるAIエージェントを開発する開発者向けに構築されています。

ハイライト

  • ネイティブOSのアクセシビリティツリーを介して動作し、正確な制御を実現。
  • デフォルトでヘッドレス動作し、マウスを動かしたりウィンドウのフォーカスを奪ったりすることなくアクションを実行可能。
  • エージェントループへの統合が容易な構造化されたJSONインターフェースを提供。
  • アプリ、ウィンドウ、入力を管理するための50以上の操作コマンドを同梱。
  • CLIの使用とCライブラリ(FFI)による直接統合の両方をサポート。

関連

  • プロジェクト
    livekit/agents

    LiveKit Agentsは、LiveKitサーバー上で動作するリアルタイムのマルチモーダル音声エージェント（LLM駆動型アシスタント）を構築するためのPython SDKです。STT/LLM/TTS用の統合アダプター、ジョブスケジューリング、WebRTC/電話統合、ターン検出、MCPツールサポート、および組み込みのテストフレームワークを提供します。

  • プロジェクト
    akitaonrails/ai-memory

    ai-memory は、AI コーディングエージェント向けの長期記憶システムで、記憶を git バックアップの Markdown として保存し、エージェント、プロジェクト、マシン、チーム間で動作し、デフォルトで LLM を必要とせず、オプションの LLM 機能を備えています。

  • プロジェクト
    microsoft/RD-Agent

    RD‑Agentは、LLM駆動型エージェントがデータ中心のR&Dタスク（量的金融ファクターモデリング、Kaggleスタイルのデータサイエンスパイプライン、研究論文のコード生成など）において、自動的にアイデアを提案（R‑agent）し、実装（D‑agent）することを可能にするMicrosoftのオープンソースフレームワークです。MLE‑benchベンチマークでトップに立ち、LiteLLM互換のあらゆるモデルをサポートし、Dockerベースのデモやインタラクティブな追跡のためのWeb UIを提供します。

  • プロジェクト
    n8n-io/self-hosted-ai-starter-kit

    n8n、Ollama、Qdrantをパッケージ化したDocker Composeテンプレートで、AIエージェントやワークフロー構築のためのセルフホスト型ローカルAI開発環境を迅速にセットアップできます。