JMAN730/opendroid

해결하는 문제

대부분의 스마트폰 AI 비서는 단순히 말만 할 뿐 행동하지 않는 챗봇에 불과합니다. OpenDroid는 Android 기기에서 실제로 작업을 수행하는 완전 자율 에이전트입니다. "내일 비가 오는지 확인하고, 만약 온다면 아내에게 늦을 것이라고 문자를 보내고 오후 6시에 알람을 설정해줘"와 같은 복잡한 요청을 받아 단계별 계획으로 분해하고, 각 단계를 실행하며, 결과를 검증하고, 실패 시 재계획을 수행합니다. 이 모든 과정은 사용자가 화면을 터치할 필요 없이 이루어집니다.

작동 방식

OpenDroid는 스마트폰에서 실행되며 여러 기능 계층을 활용합니다:

• 에이전트 엔진: 명령을 종속성 추적이 포함된 순차적 단계로 분해하여 스스로 계획하고, 액션 실행기를 통해 실행하며, 결과를 모니터링하고, 단계가 실패하면 동적으로 재계획합니다. 또한 반복적인 앱 사용 패턴(예: 오전 9시에 Gmail 확인 후 캘린더, Slack 확인)을 감지하여 원클릭 루틴을 제공합니다.
• 전체 기기 제어: Android의 Accessibility Service 및 기타 시스템 API에 연결하여 시스템 설정(밝기, WiFi, 블루투스, 볼륨), 통신(WhatsApp, Telegram, SMS, 통화, 이메일), 생산성(알람, 타이머, 캘린더 이벤트, 메모), 내비게이션(Google Maps, Uber), 미디어, 금융(UPI 결제, 환율 변환) 및 스마트 홈 전반에서 작업을 수행합니다.
• 시각 및 화면 이해: 스크린샷을 캡처하여 시각 인식 기능이 있는 LLM으로 전송해 실시간 화면 분석을 수행하며, 구형 기기에서는 접근성 트리 텍스트 추출로 대체합니다.
• 4단계 메모리: 개인 지식 그래프가 임시 계획 컨텍스트, 장기적인 명시적 사실, 학습된 패턴 및 민감한 데이터(keystore로 암호화)를 저장합니다.
• 음성 인터페이스: 오프라인 웨이크 워드("OpenDroid"), 핸즈프리 명령을 위한 음성 인식(STT), 프리미엄 음성 지원이 포함된 텍스트 음성 변환(TTS).
• 모델 유연성: 13개의 LLM 제공업체(Gemini, Claude, GPT, Groq, Ollama 등)와 연동되며, 하나가 실패하면 자동으로 다음 제공업체로 대체됩니다. 기기 내 모델 관리자(LiteRT-LM)는 로컬 모델 다운로드 및 가져오기를 지원합니다.

대상 사용자

OpenDroid는 기기를 관리하고 반복적인 작업을 자동화하며 복잡한 다중 작업 명령을 이해할 수 있는, 단순한 챗봇이 아닌 진정한 자율 AI 비서를 원하는 Android 사용자에게 적합합니다. 또한 Ollama를 통해 로컬에서 모델을 실행하거나 자신의 .task 또는 .litertlm 파일을 가져오려는 개발자 및 개인정보 보호를 중시하는 사용자에게도 적합합니다.

주요 특징

• 다단계 작업의 완전 자율적인 계획, 실행, 검증 및 재계획
• 시스템, 통신, 생산성, 내비게이션, 미디어, 금융, 스마트 홈을 아우르는 10개 모듈, 60개 이상의 액션 실행기
• 클라우드 및 완전 오프라인 로컬 모델을 포함하여 자동 대체 기능을 갖춘 13개의 LLM 제공업체 지원
• 화면 이해 및 멀티모달 "읽고 기억하기" 추출을 위한 내장 시각 엔진
• 지속적이고 암호화된 메모리를 위한 4단계 개인 지식 그래프
• 오프라인 웨이크 워드 감지, 음성 인식, TTS를 갖춘 음성 인터페이스
• 다운로드 일시 중지/재개, 안전한 토큰 저장 및 무결성 검사가 포함된 기기 내 모델 관리자
• 글래스모피즘 다크 디자인과 실시간 지연 시간 벤치마크가 적용된 프리미엄 Jetpack Compose UI