yashab-cyber/opendroid

해결하는 문제

OpenDroid는 수동 개입 없이 다양한 앱에서 복잡한 다단계 작업을 수행할 수 있게 해주는 Android용 자율 AI 에이전트입니다. 단순한 챗봇의 한계를 넘어 단일 명령으로 날씨 확인, 메시징, 알람 설정을 조정하는 등 기기에서 직접 작업을 계획, 실행 및 검증합니다.

작동 방식

시스템은 자율 에이전트 엔진을 사용하여 복잡한 사용자 의도를 순차적 단계로 분해합니다. UI 자동화 및 화면 읽기를 위해 Android Accessibility API를 활용하고, 실시간 화면 이해를 위해 스크린샷을 분석하는 비전 엔진을 사용합니다. 지능 처리를 위해 12개의 서로 다른 LLM 제공자(Gemini 및 Claude와 같은 클라우드 기반 제공자와 Ollama와 같은 로컬 제공자 포함)를 자동 페일오버 체인과 함께 지원합니다. 또한 임시 계획, 명시적 사실, 학습된 패턴 및 암호화된 민감 데이터를 저장하기 위해 4단계 개인 지식 그래프를 유지합니다.

대상

기기를 제어하고 반복되는 일상 루틴을 자동화할 수 있는 핸즈프리 자율 어시스턴트를 원하는 Android 사용자.

하이라이트

• 자율 계획: 종속성 추적 및 단계 실패 시 동적 재계획을 통해 복잡한 명령을 단계로 분해합니다.
• 전체 기기 제어: 시스템 설정, 커뮤니케이션 앱(WhatsApp, Telegram), 생산성 도구 및 스마트 홈 기기에서 60개 이상의 작업을 실행합니다.
• 기기 내 모델 관리: LiteRT-LM을 통해 로컬 모델을 다운로드, 검증 및 가져오기 위한 관리자가 포함되어 있습니다.
• 멀티모달 비전: 시각 기능이 있는 LLM을 사용하여 "Read & Remember"를 통해 화면에서 정보를 추출합니다.
• 음성 인터페이스: 오프라인 웨이크 워드 감지 및 프리미엄 텍스트 음성 변환을 위한 ElevenLabs 통합을 제공합니다.
• 글래스모픽 UI: LLM 제공자에 대한 실시간 대기 시간 벤치마크를 갖춘 최신 Jetpack Compose 인터페이스.