yashab-cyber/opendroid

解決する課題

OpenDroidは、手動操作なしで異なるアプリ間の複雑なマルチステップタスクを実行できるAndroid向け自律型AIエージェントです。単純なチャットボットの枠を超え、天気確認、メッセージ送信、アラーム設定などを1つのコマンドで連携するなど、デバイス上で直接アクションを計画、実行、検証します。

仕組み

システムは自律型エージェントエンジンを使用して、複雑なユーザー意図を連続したステップに分割します。UI自動化と画面読み取りのためにAndroid Accessibility APIを活用し、リアルタイムの画面理解のためにスクリーンショットを分析するビジョンエンジンを使用します。インテリジェンスの処理には、12種類のLLMプロバイダ（GeminiやClaudeのようなクラウドベースのもの、Ollamaのようなローカルのものを含む）をサポートし、自動フェイルオーバーチェーンを備えています。また、一時的な計画、明示的な事実、学習したパターン、および暗号化された機密データを保存するための4層の個人ナレッジグラフも維持します。

対象者

デバイスを制御し、毎日の繰り返しのルーチンを自動化できる、ハンズフリーで自律的なアシスタントを求めるAndroidユーザー。

ハイライト

• 自律的計画：複雑なコマンドをステップに分割し、依存関係の追跡と、ステップが失敗した場合の動的な再計画を備えています。
• 完全なデバイス制御：システム設定、コミュニケーションアプリ (WhatsApp, Telegram)、生産性ツール、スマートホームデバイスにわたる60以上のアクションを実行します。
• デバイス上のモデル管理：LiteRT-LMを介してローカルモデルをダウンロード、検証、インポートするためのマネージャーを含みます。
• マルチモーダルビジョン：視覚対応LLMを使用して、「Read & Remember」を介して画面から情報を抽出します。
• 音声インターフェース：オフラインのウェイクワード検出と、高品質なテキスト読み上げのためのElevenLabsとの統合を備えています。
• グラスモーフィックUI：LLMプロバイダのライブレイテンシベンチマークを備えた、モダンなJetpack Composeインターフェース。