bentoml/OpenLLM

Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpoint in the cloud.

What it solves

OpenLLM 简化了自行托管开源大型语言模型 (LLM) 的过程。它消除了设置推理服务器的复杂性，让开发者只需通过单一指令即可将 Llama 3.3、Qwen2.5 和 Phi3 等模型运行为 OpenAI 兼容的 API。

How it works

OpenLLM 提供了一个 CLI 工具，允许用户从默认仓库或自定义仓库提供模型服务。它利用了最先进的推理后端（如 vLLM）并与 BentoML 集成，以实现生产级部署。用户可以使用 openllm serve 在本地端启动服务器，通过内置的聊天 UI 或 CLI 与模型交互， 核心功能包括通过 BentoCloud 使用 openllm deploy 部署到云端。

Who it’s for

想要在不依赖专有 API 的情况下，在本地端或云端自行托管 LLM，同时保持与 OpenAI API 标准兼容的开发者与企业 AI 团队。

Highlights

  • OpenAI-Compatible APIs: 允许现有工具和框架（如 LlamaIndex）与自行托管的模型无缝协作。
  • BentoCloud Integration: 通过 Docker 和 Kubernetes 提供简化的企业级云端部署工作流程。
  • Extensive Model Support: 支持广泛的开源模型，包括 Llama、Mistral、Gemma 和 DeepSeek。
  • Custom Model Repositories: 能够添加自定义模型仓库以运行专有或专业化模型。
  • Built-in Chat UI: 包含一个用于与托管模型进行即时交互的 Web 界面。"},