simular-ai/Agent-S

解決する課題

Agent Sは、人間が行うのとまったく同じように、マウス、キーボード、画面を使用してグラフィカルユーザーインターフェース（GUI）を操作することで、デスクトップおよびWebアプリケーションを自動化するように設計されています。これにより、アプリケーション固有のAPIや各アプリのカスタムスクリプトが不要になり、macOS、Windows、Linux上のあらゆるソフトウェアで自然言語のタスクを実行できます。

仕組み

このフレームワークは、メインの生成モデル（GPT-5やClaudeなど）とグラウンディングモデル（UI-TARSなど）を組み合わせて、自然言語の指示を正確なGUI操作に変換します。画面のスクリーンショットをキャプチャし、それらを分析して、クリック、タイピング、スクロールを実行します。また、ワーカーエージェントを支援するリフレクションエージェントと、エージェントがデータ処理やシステム自動化タスクのためにPythonおよびBashコードを実行できるオプションのローカルコーディング環境も備えています。

対象読者

このプロジェクトは、オペレーティングシステムエージェントを研究するAI研究者、自身のデスクトップワークフローを自動化したい開発者、そしてオープンソースのコンピュータ使用エージェントへの貢献者を対象としています。

ハイライト

• クロスプラットフォーム対応: Windows、macOS、Linuxで動作します。
• 人間レベルのパフォーマンス: Agent S3はOSWorldベンチマーク（72.60%）で人間レベルのパフォーマンスを上回りました。
• モデル非依存: OpenAI、Anthropic、Gemini、およびvLLMやOpen Routerを介したオープンウェイトプロバイダーのモデルをサポートします。
• 統合されたコード実行: 複雑なデータ操作やシステムタスクを処理するために、任意のPythonおよびBashコードをローカルで実行できます。