ogx-ai/ogx

OGX – 오픈소스, OpenAI 호환 API 서버

정의 – OGX(이전 Llama Stack)는 OpenAI REST 엔드포인트(/v1/chat/completions, /v1/embeddings 등)를 모방하는 자체 호스팅 API 서버입니다. OpenAI 클라우드 서비스에서 사용하는 것과 동일한 클라이언트 측 코드 뒤에서 모든 LLM(Llama, GPT, Gemini, Mistral 또는 사용자 정의 모델)을 실행할 수 있습니다.

주요 기능

• 표준 OpenAI 엔드포인트 – 채팅, 완성, 임베딩, 배치, 벡터 스토어, 파일 처리용.
• Responses API – 단일 요청에서 서버 측 도구 호출, RAG(파일 검색), 다단계 오케스트레이션을 추가합니다.
• 스킬 번들(/v1alpha/skills) – 에이전트가 호출할 수 있는 버전 관리된 zip 패키지.
• 다중 SDK 지원 – OpenAI 라우트와 함께 Anthropic(/v1/messages) 및 Google GenAI(/v1alpha/interactions)용 네이티브 라우트.
• 플러그 가능한 모델 제공자 – 로컬 Ollama, vLLM 또는 모든 관리형 추론 서비스에서 작동합니다. API는 변경되지 않습니다.
• Open Responses 준수 – 표준화된 에이전트 응답을 위한 OpenResponses 테스트 스위트를 통과합니다.

사용 방법

1. 서버를 설치합니다(한 줄 스크립트 또는 uv pip install ogx).
2. uv run ogx go를 실행합니다. 프로세스가 사용 가능한 제공자를 자동 감지합니다.
3. OpenAI 호환 클라이언트(Python, TypeScript, curl 등)를 http://localhost:8321/v1에 더미 API 키로 가리킵니다.
4. 일반적인 OpenAI 메서드를 호출합니다. 예:

   from openai import OpenAI
   client = OpenAI(base_url="http://localhost:8321/v1", api_key="fake")
   resp = client.chat.completions.create(model="llama-3.3-70b", messages=[{"role":"user","content":"Hello"}])
   

대상 – 클라이언트 코드를 다시 작성하지 않고 프로덕션 등급의 모델 비종속 서비스를 원하는 AI 애플리케이션 개발자, 그리고 내장 RAG 또는 도구 호출 기능이 필요한 팀.

문서 및 커뮤니티 – 전체 문서, 빠른 시작 노트북, API 참조는 ogx-ai.github.io에서 호스팅됩니다. 공식 Python 및 TypeScript 클라이언트 SDK가 제공됩니다. 커뮤니티 지원은 Discord와 주간 커뮤니티 콜에서 이루어집니다.

---

TL;DR – OGX는 OpenAI API의 드롭인 오픈소스 대체품으로, 모든 LLM을 래핑하고 기존 OpenAI, Anthropic, Google GenAI 클라이언트 라이브러리와 호환성을 유지하면서 추가 에이전트 기능(도구 호출, RAG, 스킬 번들)을 추가합니다.