timmyy123/LLM-Hub

解决的问题

LLM Hub 是一款专注于隐私的移动应用程序，允许用户完全在设备端运行大语言模型 (LLM)、图像生成和视频生成。它消除了对云端 AI 服务的需求，在提供离线 AI 工具访问的同时，确保对话和数据永远不会离开设备。

工作原理

该应用利用移动端特定的硬件加速（CPU、GPU 和 NPU）进行本地推理。在 Android 上，它使用 GenieX SDK 和 WhisperKit 进行 ASR；在 iOS 上，它利用 Run Anywhere SDK、MediaGenerationKit 和 whisper.cpp。它支持包括.gguf、.litertlm 和.task 在内的多种模型格式，并允许用户导入自定义模型或直接从 HuggingFace 下载。

适用人群

在智能手机（Android 和 iOS）上优先考虑数据隐私和离线 AI 能力的用户，以及希望将设备端 AI 运行时集成到移动应用中的开发人员。

亮点

• 多模态 AI 套件：包括带有 RAG 记忆的本地聊天、图像生成 (Stable Diffusion)、视频生成 (Stable Video Diffusion) 和设备端转录 (Whisper)。
• 自主 AI 智能体：一项 Android 特有功能，可以执行 Termux shell 命令，管理设备工具（日历、闹钟、手电筒），并执行自我诊断以自动纠正命令错误。
• Vibe Coder：一个实时应用构建器，可生成代码并提供实时 HTML/JS 预览。
• UTF-8/NPU 加速：针对高性能进行了优化，使用移动 NPU 处理图像放大 (RealESRGAN) 和语音转文本等任务。
• 隐私至上：100% 设备端处理，零数据收集，无需账号。