suitedaces/computer-agent

What it solves

Taskhomieは、コンピュータのオペレーティングシステム全体でタスクを自動化するために設計されたローカルAIエージェントです。ユーザーは自然言語の指示によって、通常はデスクトップ環境での手動操作が必要なアクションを実行させることができます。

How it works

このエージェントは、2つの異なるモードで動作します：

• Computer Use Mode: エージェントは画面のスクリーンショットを撮り、マウスカーソルとキーボードを直接制御して、あらゆるアプリケーションとインタラクションを行います。
• Background Mode: このモードは、ウェブ自動化のために Chrome DevTools Protocol を使用し、その他のタスクにはターミナルを使用します。これにより、エージェントが非同期に動作している間、ユーザーはコンピュータを使い続けることができます。

システムは、バックエンドに Tauri と Rust、フロントエンドに React を使用し、Anthropic のモデル（Haiku, Sonnet, および Opus）を利用して指示を処理します。

Who it’s for

繰り返しのデスクトップタスクを自動化したいユーザー、または GUI とターミナルとインタラクションできる AI エージェントの能力を研究しているユーザー。

Highlights

• Dual-mode operation: フルデスクトップ制御と、非侵入的なバックグラウンド自動化を切り替えることができます。
• Cross-app automation: 異なるソフトウェア間でマウスを動かし、クリック、タイピング、コマンドを実行する能力があります。
• Native performance: Rust と Tauri で構築されており、効率的なローカル実行が可能です。
• Coded shortcuts: モードの切り替えやエージェントの制御を素早く行うための、統合されたキーボードショートカットが用意されています。