yashab-cyber/opendroid

Your Open Autonomous Android Agent — A production-ready, self-planning AI assistant powered by local/remote LLMs and accessibility-driven screen automation.

解决的问题

OpenDroid 是一款适用于 Android 的自主 AI 代理,让用户能够在不同应用中执行复杂的多步骤任务,无需手动干预。它超越了简单的聊天机器人,能直接在设备上规划、执行并验证操作,例如通过单一指令协调天气查询、发送消息与设置闹钟。

工作原理

系统使用自主代理引擎将复杂的用户意图拆解为连续步骤。它利用 Android Accessibility API 进行 UI 自动化与屏幕读取,并通过视觉引擎分析屏幕截图以实现实时屏幕理解。在智能处理方面,它支持 12 种不同的 LLM 提供商(包含云端服务如 Gemini 和 Claude,以及本地服务如 Ollama),并具备自动故障转移链。它还维护一个 4 层个人知识图谱,用于存储临时计划、明确事实、学习到的模式与加密的敏感数据。

适用人群

希望拥有免持、自主助手,能够控制设备并自动化日常重复任务的 Android 用户。

亮点

  • 自主规划:将复杂指令拆解为步骤,具备依赖性跟踪与步骤失败时的动态重新规划功能。
  • 全面设备控制:跨系统设置、通讯应用 (WhatsApp, Telegram)、生产力工具与智能家居设备执行 60 多种操作。
  • 端侧模型管理:包含一个管理器,用于通过 LiteRT-LM 下载、验证与导入本地模型。
  • 多模态视觉:使用具备视觉能力的 LLM 通过“Read & Remember”从屏幕提取信息。
  • 语音界面:具备离线唤醒词检测,并集成 ElevenLabs 提供高质量文本转语音。
  • 玻璃拟态 UI:现代化的 Jetpack Compose 界面,具备 LLM 提供商的实时延迟基准测试。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目