Pangu-Immortal/MagicWX
Android 17 local LLM prototype with Jetpack Compose and ONNX Runtime for offline AI inference experiments.
何を解決するか
MagicWX は、Android デバイス上で大規模言語モデル(LLM)と画像生成モデルを完全にオフラインで実行する方法を提供します。クラウド API を必要とせず、複数のローカル推論ランタイムを統合することで、インターネット接続なしで AI とチャットしたり、画像を生成したりできます。
動作方法
このアプリは Kotlin と Jetpack Compose で構築されており、さまざまな AI ランタイムをサポートするモジュール式アダプターシステムを採用しています:
- テキスト生成:ONNX Runtime、MediaPipe/LiteRT、および組み込みのエクスペリエンスエンジンを使用して、RWKV-7、Qwen、SmolLM2 などのモデルを実行します。
- 画像生成:ネイティブ MNN バックエンドを使用して、Stable Diffusion 1.5 の CPU パイプラインを実行し、テキストから画像、画像から画像、およびインペインティングをサポートします。
- モデル管理:モデルウェイトのバックグラウンドダウンロード用のフォアグラウンドサービスと、実際のデバイス上でモデルが検証されたことを保証する検証システムを備えています。
対象ユーザー
ローカルでプライベートな AI 実行に興味がある Android ユーザーおよび開発者、またモバイルハードウェア上で小規模言語モデル(SLM)や拡散モデルのパフォーマンスをテストしたいユーザー。
特徴
- 完全オフライン:ローカルでのテキストチャットと画像生成をサポート。
- マルチモーダル機能:マスク描画、切り取り、履歴の永続化を含む完全な画像生成ワークスペースを備えています。
- 多様なランタイム対応:ONNX、MediaPipe、LiteRT、MNN を統合しています。
- 厳格な検証:デバイス固有の検証テスト(例:ロードテストや「hello」応答チェック)を通過したモデルのみを公開しています。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト