ogx-ai/ogx

OGX – 开源、OpenAI 兼容的 API 服务器

它是什么 – OGX（前身为 Llama Stack）是一个自托管 API 服务器，模拟 OpenAI 的 REST 端点（/v1/chat/completions、/v1/embeddings 等）。它让您可以在与 OpenAI 云服务相同的客户端代码背后运行任何 LLM——Llama、GPT、Gemini、Mistral 或自定义模型。

主要功能

• 标准 OpenAI 端点，用于聊天、补全、嵌入、批次、向量存储和文件处理。
• Responses API，在单个请求中新增服务器端工具调用、RAG（文件搜索）和多步骤编排。
• 技能包（/v1alpha/skills）– 代理可以调用的版本化 zip 包。
• 多 SDK 支持 – 除了 OpenAI 路由外，还提供 Anthropic（/v1/messages）和 Google GenAI（/v1alpha/interactions）的原生路由。
• 可插拔模型提供者 – 适用于本地 Ollama、vLLM 或任何托管推理服务；API 保持不变。
• Open Responses 符合性 – 通过 OpenResponses 测试套件，以标准化代理响应。

如何使用

1. 安装服务器（一行脚本或 uv pip install ogx）。
2. 运行 uv run ogx go；进程会自动检测可用的提供者。
3. 将任何 OpenAI 兼容的客户端（Python、TypeScript、curl 等）指向 http://localhost:8321/v1，并使用虚拟 API 密钥。
4. 调用常用的 OpenAI 方法，例如：

   from openai import OpenAI
   client = OpenAI(base_url="http://localhost:8321/v1", api_key="fake")
   resp = client.chat.completions.create(model="llama-3.3-70b", messages=[{"role":"user","content":"Hello"}])
   

适用对象 – 构建 AI 应用程序的开发者，他们想要生产级、模型无关的服务，而无需重写客户端代码，以及需要内置 RAG 或工具调用功能的团队。

文档与社区 – 完整文档、快速入门笔记本和 API 参考位于 ogx-ai.github.io。提供官方 Python 和 TypeScript 客户端 SDK。社区支持在 Discord 和每周社区会议上进行。

---

TL;DR – OGX 是 OpenAI API 的即插即用、开源替代品，可以包装任何 LLM，并新增额外的代理功能（工具调用、RAG、技能包），同时保持与现有 OpenAI、Anthropic 和 Google GenAI 客户端库的兼容性。