CerebriumAI/examples

解決的問題

為在 Cerebrium 平台上建構與部署 AI 應用的開發者提供一個全面、實用且即開即用的實作範例庫。它透過提供各種 AI 模態的預先設定模板，彌補平台功能與實際部署之間的差距。

如何運作

每個範例都是針對特定用例的自我包含專案。使用者克隆倉儲後，進入特定範例資料夾並使用 cerebrium deploy 命令將應用推送到 Cerebrium 平台。這些範例涵蓋了從基礎模型部署到進階推論最佳化的廣泛技術實作。

適用對象

希望快速原型設計並部署 LLM、語音代理、影像生成流程及其他 AI 服務，而無需從零開始的機器學習工程師與 AI 開發者。

主要亮點

• 多樣化的 AI 模態：包含 LLM（vLLM、Falcon）、語音（Whisper、XTTS、即時代理）與影像/影片（Stable Diffusion、ComfyUI、ControlNet）的範例。
• 推論最佳化：示範進階技術，如多 GPU 推論、Inferentia 部署與更快的權重載入。
• 整合模式：提供 Langchain QA 系統、使用 Langsmith 的工具呼叫以及基於 WebSocket 的串流模板。
• 生產工具：包含使用 LitServe 和 transformers 實作請求批次處理的範例，以及部署 FastAPI 或 Gradio 接口的範例。