yashab-cyber/opendroid

解決的問題

OpenDroid 是一款適用於 Android 的自主 AI 代理，讓使用者能夠在不同應用程式中執行複雜的多步驟任務，無需手動介入。它超越了簡單的聊天機器人，能直接在裝置上規劃、執行並驗證操作，例如透過單一指令協調天氣查詢、傳送訊息與設定鬧鐘。

運作方式

系統使用自主代理引擎將複雜的使用者意圖拆解為連續步驟。它利用 Android Accessibility API 進行 UI 自動化與螢幕讀取，並透過視覺引擎分析螢幕截圖以實現即時螢幕理解。在智慧處理方面，它支援 12 種不同的 LLM 供應商（包含雲端服務如 Gemini 和 Claude，以及本機服務如 Ollama），並具備自動故障轉移鏈。它還維護一個 4 層個人知識圖譜，用於儲存臨時計畫、明確事實、學習到的模式與加密的敏感資料。

適用對象

希望擁有免持、自主助理，能夠控制裝置並自動化日常重複任務的 Android 使用者。

亮點

• 自主規劃：將複雜指令拆解為步驟，具備依賴性追蹤與步驟失敗時的動態重新規劃功能。
• 完整裝置控制：跨系統設定、通訊應用程式 (WhatsApp, Telegram)、生產力工具與智慧家庭裝置執行 60 多種操作。
• 裝置端模型管理：包含一個管理器，用於透過 LiteRT-LM 下載、驗證與匯入本機模型。
• 多模態視覺：使用具備視覺能力的 LLM 透過「Read & Remember」從螢幕擷取資訊。
• 語音介面：具備離線喚醒詞偵測，並整合 ElevenLabs 提供高品質文字轉語音。
• 玻璃擬態 UI：現代化的 Jetpack Compose 介面，具備 LLM 供應商的即時延遲基準測試。