Pangu-Immortal/MagicWX
Android 17 local LLM prototype with Jetpack Compose and ONNX Runtime for offline AI inference experiments.
解決的問題
MagicWX 提供了一種在 Android 裝置上完全離線運行大型語言模型(LLMs)與影像生成模型的方法。透過整合多種本地推論執行環境,無需依賴雲端 API,使用者可在無網路連接的情況下與 AI 對話並產生影像。
運作方式
此應用使用 Kotlin 與 Jetpack Compose 建構,採用模組化適配器系統以支援不同的 AI 執行環境:
- 文字生成:使用 ONNX Runtime、MediaPipe/LiteRT 與內建體驗引擎,執行 RWKV-7、Qwen 與 SmolLM2 等模型。
- 影像生成:採用原生 MNN 後端執行 Stable Diffusion 1.5 CPU 流程,支援文字轉影像、影像轉影像與修補(inpainting)。
- 模型管理:包含一個前景服務用於背景下載模型權重,並具備驗證系統,確保模型在真實裝置上通過驗證後才對使用者開放。
適用對象
對本地化、私密性 AI 執行感興趣的 Android 使用者與開發者,以及希望在行動硬體上測試小型語言模型(SLMs)與擴散模型效能的使用者。
主要特色
- 完全離線:支援本地文字聊天與影像生成。
- 多模態功能:包含完整的影像生成工作區,支援遮罩繪製、裁切與歷史記錄持久化。
- 多元執行環境支援:整合 ONNX、MediaPipe、LiteRT 與 MNN。
- 嚴格驗證:僅對通過裝置特定驗證測試(例如載入測試與「hello」回應檢查)的模型進行公開。
相關
- 專案
- 專案
- 專案
- 專案
- 專案