timmyy123/LLM-Hub

Local AI Assistant on your phone

What it solves

LLM Hub 提供一种在移动设备（Android 和 iOS）上直接运行大型语言模型（LLM）、图像生成和视频生成的方式。它消除 AI 推理对网络连接的需求，确保用户数据保持私密，对话永不离开设备。

How it works

该应用利用移动专用的硬件加速（CPU、GPU 和 NPU）在本地运行模型。它集成了多个专用 SDK 与运行时，例如 Android 的 GenieX 与 MediaPipe、iOS 的 Run Anywhere 与 MediaGenerationKit。用户可以直接从 HuggingFace 下载模型，或导入自定义模型格式，包括 .gguf、.task 和 .litertlm。

Who it’s for

它面向希望在智能手机上私密、离线使用 AI 功能的用户，也面向对本地 AI 实现感兴趣的开发者。

Highlights

  • Multimodal Suite：包括具 RAG 记忆的文本聊天、通过 Stable Diffusion 生成图像、通过 Stable Video Diffusion 生成视频，以及离线翻译/转录功能。
  • Vibe Coder：一个工具，允许用户描述 App 想法并实时看到以实时 HTML/JS 预览方式构建的结果。
  • Privacy-Centric：100% 本地处理，无数据收集、无账户、无追踪。
  • Broad Model Support：支持多种模型格式，并可直接从 HuggingFace 导入。
  • AI Utility Tools：提供用于钓鱼分析的诈骗检测器、用于语法和摘要的写作辅助工具，以及名为 creAItor 的自定义角色创建器。