Pangu-Immortal/MagicWX

해결하는 문제

MagicWX는 Android 기기에서 대규모 언어 모델(LLM)과 이미지 생성 모델을 완전히 오프라인으로 실행할 수 있는 방법을 제공합니다. 클라우드 API를 필요로 하지 않으며, 여러 로컬 추론 런타임을 통합하여 인터넷 연결 없이 AI와 대화하고 이미지를 생성할 수 있습니다.

작동 방식

이 앱은 Kotlin과 Jetpack Compose로 구축되었으며, 다양한 AI 런타임을 지원하는 모듈식 어댑터 시스템을 사용합니다:

• 텍스트 생성: ONNX Runtime, MediaPipe/LiteRT, 그리고 내장된 경험 엔진을 사용하여 RWKV-7, Qwen, SmolLM2 등의 모델을 실행합니다.
• 이미지 생성: 네이티브 MNN 백엔드를 사용하여 Stable Diffusion 1.5 CPU 파이프라인을 실행하며, 텍스트 기반 이미지 생성, 이미지 기반 이미지 생성, 인페인팅을 지원합니다.
• 모델 관리: 모델 가중치의 백그라운드 다운로드를 위한 포어그라운드 서비스와, 실제 기기에서 모델이 검증된 후 사용자에게 제공되는 검증 시스템을 포함합니다.

대상 사용자

로컬에서 개인 정보 보호를 중시하는 Android 사용자 및 개발자, 또는 모바일 하드웨어에서 소규모 언어 모델(SLM)과 확산 모델의 성능을 테스트하고자 하는 사용자.

주요 특징

• 완전 오프라인: 로컬 텍스트 채팅과 이미지 생성을 지원합니다.
• 다중 모달 기능: 마스크 페인팅, 자르기, 기록 유지 기능을 포함한 완전한 이미지 생성 워크스페이스를 제공합니다.
• 다양한 런타임 지원: ONNX, MediaPipe, LiteRT, MNN을 통합합니다.
• 엄격한 검증: 디바이스별 검증 테스트(예: 로드 테스트 및 "hello" 응답 확인)를 통과한 모델만 노출합니다.