timmyy123/LLM-Hub

解决的问题

LLM Hub 是一款专注于隐私的移动应用程序，允许用户完全在设备端运行大型语言模型 (LLMs) 和其他生成式 AI 工具。它消除了对云端 AI 服务的需求，确保对话和数据永远不会离开设备，同时在 Android 和 iOS 上提供全面的 AI 功能套件。

运作方式

该应用程序利用针对移动设备优化的运行环境和 SDK，通过设备的 CPU、GPU 和 NPU 加速推理。它支持多种模型格式（包括 .gguf、.litertlm 和 .task），并允许用户导入自定义模型或直接从 HuggingFace 下载。

在 Android 上，它与 Termux 集成，实现了能够执行 shell 指令并管理文件的自主 AI 代理。在 iOS 上，它利用 Run Anywhere SDK 和 MediaGenerationKit 进行本地 LLM 和媒体生成。

目标客群

• 注重隐私的用户：希望在没有数据收集的情况下使用本地 AI。
• 开发者与进阶用户：希望在移动设备上实验本地 LLMs、图像/视频生成和 AI 代理。
• 移动 AI 爱好者：寻找用于设备端转录、翻译和媒体搜索的综合工具集。

特色亮点

• 多模态 AI 套件：本地聊天、图像生成 (Stable Diffusion)、视频生成 (Stable Video Diffusion) 和音乐生成。
• 自主 AI 代理：支持函数调用、MCP 工具，以及 Android 上具有自动修正循环的 Termux 终端指令生成。
• 本地媒体智慧：使用 EmbeddingGemma 2 对照片和视频进行设备端索引，实现即时搜索和“时刻寻找”。
• 进阶音频工具：设备端转录 (Whisper)、多语言 TTS 和本地语音克隆 (Pocket TTS)。
• Vibe Coder：一个本地编程助手，具有实时 HTML/JS 预览，并通过 Android 上的 Termux 集成 Codex。
• 100% 私密：推理无需互联网、无需账号、无追踪。