timmyy123/LLM-Hub

解決的問題

LLM Hub 是一款專注於隱私的行動應用程式，允許使用者完全在裝置端執行大型語言模型 (LLM)、圖像生成與影片生成。它消除了對雲端 AI 服務的需求，在提供離線 AI 工具存取的同時，確保對話與數據永遠不會離開裝置。

工作原理

該應用程式利用行動裝置專用的硬體加速（CPU、GPU 與 NPU）進行本地推論。在 Android 上，它使用 GenieX SDK 與 WhisperKit 進行 ASR；在 iOS 上，它利用 Run Anywhere SDK、MediaGenerationKit 與 whisper.cpp。它支援包括.gguf、.litertlm 與.task 在內的各種模型格式，並允許使用者匯入自定義模型或直接從 HuggingFace 下載。

適用對象

在智慧型手機（Android 與 iOS）上優先考慮數據隱私與離線 AI 能力的使用者，以及希望將裝置端 AI 執行階段整合到行動應用程式中的開發人員。

亮點

• 多模態 AI 套件：包括具備 RAG 記憶的本地聊天、圖像生成 (Stable Diffusion)、影片生成 (Stable Video Diffusion) 以及裝置端轉錄 (Whisper)。
• 自主 AI 代理：一項 Android 特有功能，可以執行 Termux shell 命令、管理裝置工具（日曆、鬧鐘、手電筒），並執行自我診斷以自動修正指令錯誤。
• Vibe Coder：一個即時應用程式構建器，可生成程式碼並提供即時 HTML/JS 預覽。
• UTF-8/NPU 加速：針對高效能進行優化，使用行動裝置 NPU 處理圖像放大 (RealESRGAN) 與語音轉文字等任務。
• 隱私至上：100% 裝置端處理，零數據收集，無需帳號。