JMAN730/opendroid

解決する課題

ほとんどのスマホ向けAIアシスタントは単なるチャットボットであり、話すだけで行動はしません。OpenDroidは、Androidデバイス上で実際に操作を行う完全自律型エージェントです。「明日雨が降るか確認して、もし降るなら妻に遅れるとメールし、午後6時にアラームをセットして」といった複雑なリクエストを受け取り、ステップバイステップの計画に分解し、各ステップを実行し、結果を検証し、失敗した場合は再計画を行います。これらすべてを、あなたが画面に触れることなく実行します。

仕組み

OpenDroidはスマートフォン上で動作し、複数の機能レイヤーを活用します：

• エージェントエンジン：コマンドを依存関係の追跡を伴う順次ステップに分解して自己計画を行い、アクションエグゼキューターを通じて実行し、結果を監視し、ステップが失敗した場合には動的に再計画します。また、定期的なアプリのパターン（午前9時にGmailを確認し、次にカレンダー、その次にSlackを確認するなど）を検出し、ワンクリックルーチンを提供します。
• フルデバイス制御：AndroidのAccessibility Serviceやその他のシステムAPIに接続し、システム設定（明るさ、WiFi、Bluetooth、音量）、通信（WhatsApp、Telegram、SMS、通話、メール）、生産性（アラーム、タイマー、カレンダーイベント、メモ）、ナビゲーション（Google Maps、Uber）、メディア、金融（UPI決済、通貨換算）、スマートホーム全体でアクションを実行します。
• 視覚と画面理解：スクリーンショットをキャプチャして視覚対応LLMに送信し、リアルタイムの画面分析を行います。古いデバイスではアクセシビリティツリーのテキスト抽出にフォールバックします。
• 4層メモリ：個人用ナレッジグラフが、一時的な計画コンテキスト、長期的な明示的事実、学習したパターン、および機密データ（keystoreで暗号化）を保存します。
• 音声インターフェース：オフラインウェイクワード（"OpenDroid"）、ハンズフリーコマンド用の音声認識（STT）、およびプレミアム音声サポート付きのテキスト読み上げ（TTS）。
• モデルの柔軟性：13のLLMプロバイダー（Gemini、Claude、GPT、Groq、Ollamaなど）と連携し、1つが失敗した場合は自動的に別のプロバイダーにフォールバックします。デバイス内モデルマネージャー（LiteRT-LM）は、ローカルモデルのダウンロードとインポートをサポートしています。

対象ユーザー

OpenDroidは、単なるチャットボットではなく、デバイスを管理し、反復的なタスクを自動化し、複雑なマルチアクションコマンドを理解できる、真に自律的なAIアシスタントを求めるAndroidユーザー向けです。また、Ollamaを介してローカルでモデルを実行したり、独自の .task や .litertlm ファイルをインポートしたい開発者やプライバシーを重視するユーザーにも適しています。

ハイライト

• マルチステップタスクの完全自律的な計画、実行、検証、および再計画
• システム、通信、生産性、ナビゲーション、メディア、金融、スマートホームをカバーする10モジュール、60以上のアクションエグゼキューター
• クラウドおよび完全オフラインのローカルモデルを含む、自動フォールバック付きの13のLLMプロバイダーをサポート
• 画面理解およびマルチモーダルな「読んで記憶する」抽出のための組み込み視覚エンジン
• 永続的で暗号化されたメモリのための4層の個人用ナレッジグラフ
• オフラインウェイクワード検出、音声認識、TTSを備えた音声インターフェース
• ダウンロードの一時停止/再開、安全なトークンストレージ、整合性チェックを備えたデバイス内モデルマネージャー
• グラスモーフィズムのダークデザインとライブレイテンシベンチマークを備えたプレミアムな Jetpack Compose UI