IPADS-SAI/MobiAgent

MobiAgent – 사용자 정의 가능한 모바일 에이전트 프레임워크

무엇인가요 – MobiAgent는 스마트폰(안드로이드 또는 하모니어스)에서 대규모 언어 모델(LLM) 기반의 "에이전트"를 직접 실행할 수 있는 오픈소스 시스템입니다. 세 가지 핵심 요소를 통합합니다:

구성 요소	역할
MobiMind	모바일 작업에 최적화된 LLM 패밀리(결정자, 계획자, 기준자).
AgentRR	에이전트 기록 및 재생 – 성공적인 액션 시퀀스를 캐시하고 이후 실행을 가속화할 수 있는 경량 프레임워크.
MobiFlow	다단계, 크로스앱 워크플로우(예: 검색, 구매, 메시징)를 평가하는 벤치마크.

주요 기능

디바이스 내 추론 – 모델은 전화기에서 vLLM으로 제공되거나 로컬 서버를 통해 제공 가능; 양자화된 2비트/8비트 버전(MobiMind-1.5-2B-W8A8)이 제공됨.
모듈식 메모리 시스템
- 사용자 프로필 메모리 (Mem0): Milvus 벡터 DB 또는 Neo4j GraphRAG에 저장되어 개인화된 계획에 사용.
- 경험 메모리: 유사한 과거 실행을 검색.
- 액션 메모리 (AgentRR): 캐시된 액션 트리 재사용.
다중 작업 실행 – ADB를 통해 복잡한 크로스앱 워크플로우를 오케스트레이션 가능(예: "소홍서에서 검색 → 타오바오에서 구매 → 위챗으로 결과 전송").
통합 GUI 러너 – MobiAgent, UI-TARS, AutoGLM, Qwen-VL, Gemini 등 다양한 백엔드를 한 번의 클릭으로 설정 가능.
확장 가능한 워크플로우 파이프라인 – 원시 데이터 정제 및 사용자 정의 워크플로우 정의 지원.
벤치마크 및 결과 – MobiFlow 벤치마크와 시각적 평가 차트가 리포지토리에 포함됨.

아키텍처 개요

+-------------------+      +-------------------+      +-------------------+
|   결정자 모델   | ---> |   계획자 모델   | ---> |   기준자 모델  |
+-------------------+      +-------------------+      +-------------------+
        ^                         ^                         ^
        |                         |                         |
        |   AgentRR (기록/재생)   |   메모리 모듈 (프로필, 경험)
        |                         |                         |
        +-------------------+-----------------------------+
                            |
                        러너
        (ADB를 통해 전화기 연결, UI 액션 발행, 트레이스 기록)

README의 다이어그램(assets/arch.png)이 동일한 흐름을 시각화합니다.

시작하기 (빠른 시작)

Python 환경 설치 – conda 환경(python=3.10)을 생성하고 pip install -r requirements.txt (또는 러너만 필요한 경우 requirements_simple.txt)를 실행.
폰 설정 – ADBKeyboard APK 설치, USB 디버깅 활성화, USB로 연결.
모델 배포 – HuggingFace 또는 ModelScope에서 MobiMind 체크포인트(예: MobiMind-1.5-4B)를 다운로드하고 vllm serve … --port <port>로 제공.
(옵션) 메모리 설정 – 벡터 검색용 Milvus 컨테이너 또는 GraphRAG용 Neo4j 컨테이너를 시작하고 .env에 URL과 모델 경로를 입력.
에이전트 실행 – 원하는 작업을 runner/mobiagent/task.json에 편집한 후 다음을 실행:
```
python -m runner.mobiagent.mobiagent \
    --service_ip localhost \
    --decider_port 8000 \
    --planner_port 8002 \
    [--user_profile on] [--use_experience]
```
다중 작업 시나리오에는 runner.mobiagent.multi_task.mobiagent_refactored 엔트리 포인트 사용.
Android 앱 시도 – 릴리스 페이지(v1.0.1)에서 사전 빌드된 APK를 다운로드하여 포인트 앤 클릭 경험을 해보세요.

예시 사용 사례

개인 비서 – 사용자 고유 추천 검색, 쇼핑, 메시징 앱을 통해 결과 전송.
기업 자동화 – 내부 앱 간 반복 작업(예: 데이터 입력) 자동화.
연구 – MobiFlow 세트에서 새로운 프롬프팅 또는 계획 전략 벤치마크; 메모리 증강 에이전트 실험.

평가

README에는 세 개의 결과 그림(assets/result1.png–3.png)과 AgentRR 성능 차트(assets/result_agentrr.png)가 포함되어 있습니다. 이는 재생 및 메모리 모듈을 사용할 경우 기준 LLM 전용 에이전트보다 높은 작업 완료율과 낮은 지연 시간을 달성함을 보여줍니다.

릴리스 하이라이트 (시계열)

2025-08-30 – 오픈소스 런칭.
2025-12-26 – 순수 디바이스 내 추론 지원.
2025-12-08 – MobiMind-Reasoning-4B 및 그 AWQ 양자화 변형 버전 출시.
2026-07-17 – 최초의 프로액티브 디바이스 내 에이전트 시스템 ClawMate, 디바이스 내 추론 프레임워크 MobiInfer, 2비트 양자화 모델 출시.
지속적인 추가 기능: 사용자 정의 워크플로우, 다중 작업 실행, 사용자 프로필 메모리, 혼합 모달 모델(Qwen3-VL) 등.

인용

학술 작업에서 MobiAgent를 사용할 경우, README에 링크된 두 개의 arXiv 논문을 인용하세요:

@misc{zhang2025mobiagentsystematicframeworkcustomizable,
  title={MobiAgent: A Systematic Framework for Customizable Mobile Agents},
  author={Cheng Zhang and Erhu Feng and Xi Zhao and Yisheng Zhao and Wangbo Gong and Jiahui Sun and Dong Du and Zhichao Hua and Yubin Xia and Haibo Chen},
  year={2025},
  eprint={2509.00531},
  archivePrefix={arXiv},
  primaryClass={cs.MA},
  url={https://arxiv.org/abs/2509.00531}
}
@misc{liu2025trainingenablingselfevolutionagents,
  title={Beyond Training: Enabling Self-Evolution of Agents with MOBIMEM},
  author={Zibin Liu and Cheng Zhang and Xi Zhao and Yunfei Feng and Bingyu Bai and Dahu Feng and Erhu Feng and Yubin Xia and Haibo Chen},
  year={2025},
  eprint={2512.15784},
  archivePrefix={arXiv},
  primaryClass={cs.AI},
  url={https://arxiv.org/abs/2512.15784}
}

더 많은 정보 찾기

논문: https://arxiv.org/abs/2509.00531 (MobiAgent) 및 https://arxiv.org/abs/2512.15784 (MobiMem)
모델 허브: HuggingFace 컬렉션 IPADS-SAI/mobimind
데모 영상 – README 내 GitHub 첨부 URL을 통해 링크됨.
서브모듈 문서 – 각 폴더(agent_rr/, runner/, MobiFlow/ 등)에는 자체 README.md가 있으며, 더 깊은 사용 방법이 기술되어 있음.

위 모든 정보는 리포지토리의 README에서 직접 가져왔으며, 외부 가정은 전혀 추가되지 않았습니다.