noonghunna/club-3090

解决的问题

在 NVIDIA RTX 3090 等消费级硬件上运行大语言模型 (LLMs) 可能因内存限制、配置开销和特定引擎优化而变得复杂。本项目提供预配置且经过测试的配方，简化了这些模型在本地的部署过程，同时确保它们在特定硬件设置上高效运行。

工作原理

它使用 Docker 和 NVIDIA Container Toolkit 来管理部署环境。项目按硬件拓扑（例如单卡、双卡、多卡）组织模型配置（或称“slugs”）。用户选择配置后，提供的脚本将处理通过 vLLM、SGLang 或 llama.cpp 等高性能推理引擎下载、验证和启动模型的过程。它公开了一个兼容 OpenAI 的 API，允许其与现有的 LLM 工具和界面集成。

适用人群

本项目适用于拥有 NVIDIA RTX 3090（或类似显卡）并希望自托管 LLM，同时又不想花费过多时间排查环境设置、量化或特定引擎性能瓶颈的开发者、研究人员和爱好者。

亮点

• 硬件感知配方： 针对 1、2 或更多 GPU 的预测试配置，以最大化显存利用率和推理速度。
• 统一 API： 提供兼容 OpenAI 的端点，使本地模型成为云端 LLM 服务的直接替代品。
• 广泛的基准测试： 包含一个由社区贡献的性能指标（TPS、延迟）和质量检查共享数据库。
• 模块化设计： 支持多种推理引擎（vLLM、llama.cpp 等），并包含用于管理部署的基于终端的驾驶舱 (c3)。
• 多模态支持： 可选的 "AI Studio" 扩展，用于在运行聊天模型的同时运行图像、视频和音频生成模型。