mostlygeek/llama-swap

解决的问题

在本地运行多个生成式 AI 模型通常需要手动启动和停止不同的推理服务器，这既繁琐又消耗资源。本项目实现了这些服务器管理的自动化，让您可以按需运行各种模型（LLM、图像生成器、音频处理器）并在它们之间进行热切换，无需人工干预。

工作原理

它是一个基于 Go 的轻量级反向代理，位于您的本地推理服务器（如 llama.cpp、vllm 或 ComfyUI）之前。当您向特定模型发送 API 请求时，该工具会检测请求的模型 ID，如果对应的服务器尚未运行，则自动加载它并路由请求。它支持与 OpenAI 和 Anthropic API 兼容的端点，从而可以与现有的 AI 工具和工作流无缝集成。

适用人群

专为在自己的硬件上运行多个本地 AI 模型，并希望拥有一个统一、自动化的界面来管理推理堆栈，而无需手动处理进程的开发人员和高级用户而设计。

主要亮点

• 自动模型切换：根据传入的 API 请求动态加载和卸载模型。
• 广泛的兼容性：支持 OpenAI 和 Anthropic API 端点，并为 llama.cpp、Stable Diffusion 和音频处理服务器提供专门支持。
• 资源管理：包含基于 TTL 的自动卸载、并发模型矩阵和自定义请求过滤等功能。
• 内置监控：提供用于测试、实时日志流和详细令牌/系统指标的 Web UI。
• 轻松部署：以单个二进制文件形式分发，配置极简，也可作为适用于各种 GPU 后端的统一 Docker 镜像使用。