TurixAI/TuriX-CUA

解決する課題

TuriXは、AIモデルがコンピュータのデスクトップインターフェースと直接対話する方法を提供します。AIエージェントが、ウェブブラウザ、オフィススイート、社内ツールなど、人間が使用できるあらゆるソフトウェア上で操作（クリックやタイピングなど）を実行できるようにすることで、アプリ固有のAPIの必要性を排除します。

仕組み

このシステムは、Vision Language Model (VLM) を「脳」として使用し、画面を認識してアクションを決定します。さまざまなモデル（Ollamaを介したローカルモデルを含む）で構成でき、異なるモデルがプランニング、実行、メモリを処理できるマルチエージェントアーキテクチャをサポートしています。また、Model Context Protocol (MCP) と統合されており、Claude for Desktop のような他のエージェントがデスクトップ操作をトリガーできるようにします。さらに、「Skills」（Markdownベースのプレイブック）を使用して、エージェントに複雑なタスクのための具体的な指示を提供します。

対象者

• オープンソースのコンピュータ使用エージェントを探している開発者および研究者。
• 複数のアプリケーションにわたる反復的なデスクトップワークフローを自動化したいパワーユーザー。
• GUI自動化のためのさまざまなVLMポリシーをテストしたいAIエンジニア。

ハイライト

• 高い成功率: OSWorldベンチマークで64.2%、macOS特化型ベンチマークで80%以上を達成。
• APIに依存しない: GUI上で動作するため、公開APIを持たないあらゆるアプリケーションで動作します。
• モデルのホットスワップ: コードを変更することなく、簡単な設定ファイルを通じて基盤となるAIモデルを変更できます。
• クロスプラットフォーム対応: macOS、Windows、Linuxで利用可能です。
• MCP統合: 他のAIエージェントとのシームレスな接続のために、Model Context Protocolと互換性があります。