JMAN730/opendroid

它解决了什么问题

大多数手机 AI 助手只是聊天机器人——它们只会说而不会做。OpenDroid 是一个完全自主的代理，它真正能在你的 Android 设备上执行操作。它接收像“检查明天是否会下雨，如果是，发短信告诉我妻子我会迟到，并设置一个下午 6 点的闹钟”这样的复杂请求，将其拆解为分步计划，执行每一步，验证结果，并在任何步骤失败时重新规划——全程无需你触碰屏幕。

工作原理

OpenDroid 在你的手机上运行，并利用多个能力层：

• 代理引擎：通过将指令拆解为带有依赖跟踪的顺序步骤来进行自我规划，通过动作执行器执行它们，监控结果，并在步骤失败时动态重新规划。它还能检测重复的应用程序模式（例如每天早上 9 点检查 Gmail，然后是日历，再是 Slack）并提供一键式例程。
• 全设备控制：它连接到 Android 的 Accessibility Service 和其他系统 API，以在系统设置（亮度、WiFi、蓝牙、音量）、通信（WhatsApp、Telegram、短信、通话、电子邮件）、生产力（闹钟、计时器、日历事件、笔记）、导航（Google Maps、Uber）、媒体、金融（UPI 支付、货币转换）和智能家居方面执行操作。
• 视觉与屏幕理解：它捕获屏幕截图并将其发送给具备视觉能力的 LLM 进行实时屏幕分析，在旧设备上则回退到辅助功能树文本提取。
• 四层记忆：个人知识图谱存储临时计划上下文、长期显式事实、学习到的模式以及敏感数据（通过 keystore 加密）。
• 语音接口：离线唤醒词（"OpenDroid"）、用于免提指令的语音转文字，以及支持高级语音的文字转语音。
• 模型灵活性：支持 13 个 LLM 提供商（Gemini、Claude、GPT、Groq、Ollama 等），并在一个失败时自动回退到下一个提供商。设备端模型管理器（LiteRT-LM）支持下载和导入本地模型。

适用人群

OpenDroid 适合那些想要一个真正自主的 AI 助手（不仅仅是聊天机器人）的 Android 用户，它能够管理设备、自动化重复任务并理解复杂的多动作指令。它也适合希望通过 Ollama 本地运行模型或导入自己的 .task 或 .litertlm 文件的开发者和注重隐私的用户。

亮点

• 完全自主的多步任务规划、执行、验证和重新规划
• 涵盖 10 个模块的 60 多个动作执行器，覆盖系统、通信、生产力、导航、媒体、金融和智能家居
• 支持 13 个 LLM 提供商并具备自动回退功能，包括云端和完全离线的本地模型
• 内置用于屏幕理解和多模态“阅读与记忆”提取的视觉引擎
• 用于持久化、加密记忆的四层个人知识图谱
• 带有离线唤醒词检测、语音转文字和 TTS 的语音接口
• 带有暂停/恢复下载、安全令牌存储和完整性检查的设备端模型管理器
• 采用玻璃拟态深色设计和实时延迟基准测试的高级 Jetpack Compose UI