bentoml/OpenLLM

Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpoint in the cloud.

What it solves

OpenLLM 簡化了自行託管開源大型語言模型 (LLM) 的過程。它消除了設置推理伺服器的複雜性，讓開發者只需透過單一指令即可將 Llama 3.3、Qwen2.5 和 Phi3 等模型運行為 OpenAI 相容的 API。

How it works

OpenLLM 提供了一個 CLI 工具，允許使用者從預設儲存庫或自定義儲存庫提供模型服務。它利用了最先進的推理後端（例如 vLLM）並與 BentoML 整合，以實現生產級別的部署。使用者可以使用 openllm serve 在本地端啟動伺服器，透過內建的聊天 UI 或 CLI 與模型互動，並透過 openllm deploy 使用 BentoCloud 部署到雲端。

Who it’s for

想要在不依賴專有 API 的情況下，在本地端或雲端自行託管 LLM，同時保持與 OpenAI API 標準相容的開發者與企業 AI 團隊。

Highlights

  • OpenAI-Compatible APIs: 讓現有的工具與框架（如 LlamaIndex）能夠無縫地與自行託管的模型工作。
  • BentoCloud Integration: 透過 Docker 和 Kubernetes 提供簡化的企業級雲端部署工作流程。
  • Extensive Model Support: 支援廣泛的開源模型，包括 Llama、Mistral、Gemma 和 DeepSeek。
  • Custom Model Repositories: 能夠添加自定義模型儲存庫以運行專有或專業化模型。
  • Built-in Chat UI: 包含一個用於與託管模型進行即時互動的 Web 介面。"},