schmitech/orbit

해결하는 문제

ORBIT는 AI 모델과 프라이빗 엔터프라이즈 환경 사이의 간극을 메웁니다. LLM을 파편화된 데이터 소스(SQL 데이터베이스, 파일, API 등)에 연결하는 복잡성을 해결하며, 단순한 채팅 인터페이스나 기본 모델 라우터에는 부족한 인증, 속도 제한, 관측 가능성과 같은 필수적인 프로덕션급 거버넌스를 제공합니다.

작동 방식

ORBIT는 애플리케이션과 AI 리소스 사이에 위치하는 중앙 집중식 백엔드 API 역할을 합니다. YAML로 정의된 어댑터를 사용하여 다양한 데이터 소스(벡터 스토어, 데이터베이스, REST/GraphQL API) 및 도구(Model Context Protocol을 통해)에 연결합니다. OpenAI 호환 엔드포인트를 노출하여 요청을 로컬 모델(Ollama, llama.cpp, vLLM을 통해) 또는 클라우드 제공업체(OpenAI, Anthropic, Gemini 등)로 라우팅하는 동시에 관리 패널을 통해 보안 및 메트릭을 관리할 수 있습니다.

대상 사용자

• 개발자: 내장된 인증 및 관측 가능성을 갖춘 프로덕션용 백엔드가 필요한 AI 애플리케이션 구축 개발자.
• 기업: 프라이빗 데이터(스프레드시트, PDF, 데이터베이스)를 LLM에 안전하게 연결하고자 하는 기업.
• 엔지니어: 단일 관리 API 계약을 통해 여러 AI 제공업체와 로컬 모델을 관리해야 하는 엔지니어.

주요 특징

• 통합 API: 모델, 데이터 및 도구에 대해 OpenAI 호환 인터페이스를 제공합니다.
• 광범위한 연결성: 파일, SQL, NoSQL, 벡터 스토어 및 MCP 도구를 지원합니다.
• 프로덕션 제어: RBAC, SSO, 할당량, 모더레이션 및 감사 로그를 포함합니다.
• 하이브리드 배포: 로컬(오프라인) 또는 클라우드에서 실행할 수 있으며, 로컬 및 클라우드 호스팅 모델을 모두 지원합니다.