mudler/LocalAI

LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.

LocalAI – 开源、本地 AI 引擎

它是什么 – LocalAI 是一个模块化、自托管的服务器，可让您在任意硬件上运行各种 AI 模型（大型语言模型、视觉、语音转文本、文本转语音、图像生成、视频等）——从笔记本电脑 CPU 到多 GPU 服务器、Apple Silicon、AMD/Intel GPU 甚至 Jetson 板。核心非常小；每种模型类型由后端提供服务，该后端按需作为单独的 OCI 镜像拉取（llama.cpp、vLLM、whisper.cpp、stable-diffusion 等）。这保持了安装的轻量性，并让您只添加所需的组件。

关键能力（如 README 中所述）

能力	详情
模型支持	LLM、视觉、音频、图像、视频。从 LocalAI 画廊、Hugging Face、Ollama OCI 或任何 OCI 注册表加载模型。
硬件灵活性	支持仅 CPU 或 GPU 加速：NVIDIA CUDA 12/13、AMD ROCm、Intel oneAPI、Apple Metal、Vulkan、Jetson L4T。
可组合后端	每个后端都是单独的容器镜像（llama.cpp、vllm.cpp、parakeet.cpp 等），仅在需要时获取。
API 兼容性	提供 OpenAI、Anthropic 和 ElevenLabs 兼容的 REST 端点，以及用于语音到语音的 Realtime API。
多用户与安全	API 密钥认证、基于角色的配额、每用户使用指标、可选 OIDC、默认拒绝认证。
内置代理	具有工具使用、检索增强生成（RAG）、模型上下文协议（MCP）和社区驱动的代理中心的自主代理。
隐私优先	所有推理均在本地运行，数据永远不会离开您的基础设施。
可扩展	开放接口，支持用任何语言编写新后端；提供许多原生 C/C++ GGML 后端（vllm.cpp、parakeet.cpp、voice-detect.cpp 等）。
分布式模式	使用 PostgreSQL + NATS 进行水平扩展、智能路由、副本管理和可恢复上传。
Web UI 与 CLI	集成 Web UI、基于终端的聊天代理，以及用于模型管理、基准测试和交互式聊天的 `local-ai` CLI。

典型工作流程（快速入门）

运行服务器 – 例如 docker run -ti -p 8080:8080 localai/localai:latest（或使用 macOS DMG）。容器会自动检测您的 GPU 并拉取相应的后端。
加载模型 – local-ai run llama-3.2-1b-instruct:q4_k_m 或指向 Hugging Face URL。
与之对话 – local-ai chat --model llama-3.2-1b-instruct:q4_k_m 或从任何客户端调用兼容 OpenAI 的 HTTP API。
添加功能 – 只需拉取相应的后端镜像即可启用视觉、TTS 或自主代理。

谁可能使用它？

开发者和初创公司，需要本地 LLM 或多模态服务，且不受供应商锁定。
具有严格数据隐私政策的企业。
研究人员，希望从单一界面试验多种后端（llama.cpp、vLLM、MLX 等）。
边缘部署，在 Jetson、Apple Silicon 或低功耗 CPU 上。

近期亮点（2026 年发布）

v4.11.0 – 音频场景分析、决策 API、模型故障转移链、签名 OCI 画廊、文本转动画。
v4.10.0 – 舰队仪表板、统一基准测试工具、私有模型凭据。
v4.9.0 – 默认拒绝认证、上下文压缩、MiniMax-H3 视频加音频生成。
v4.8.0 – vllm.cpp（alpha）、图像转 3D、新的 audio.cpp 后端用于语音和声音事件检测。
v4.7-4.5 – 语音克隆、视频生成、工具调用代理、生物识别后端（voice-detect、face-detect）、实时流式 API。

底线

LocalAI 是一个真正的、积极维护的开源平台，将各种 AI 模型和硬件加速器统一在单一、兼容 OpenAI 的 API 后面。其模块化、按需后端架构使其轻量且可扩展，项目包含许多生产级功能，如多用户认证、分布式扩展和内置自主代理。