schmitech/orbit

해결하는 문제

ORBIT는 사내에서 관리되는 AI 에이전트를 위한 다양한 모델, 데이터 소스, 도구 간의 격차를 메우기 위해 설계된 자체 호스팅 AI 백엔드입니다. 로컬 프로토타입에서 생산 환경으로 전환할 때 아키텍처를 다시 작성할 필요 없이, 사내 데이터와 도구 사용 에이전트를 관리할 수 있는 통합된 OpenAI 호환 API를 제공합니다.

작동 방식

ORBIT는 Ollama, vLLM, OpenAI, Anthropic 등의 다양한 추론 제공자로 요청을 라우팅하는 중간 계층으로 작동합니다. YAML로 구성된 어댑터를 통해 데이터 소스에 연결되며, 파일, SQL/NoSQL 데이터베이스, 벡터 스토어, Elasticsearch, REST/GraphQL API를 통합할 수 있습니다. 또한 에이전트 기능을 위한 Model Context Protocol (MCP) 도구도 지원합니다. 전체 시스템은 내장된 관리 패널과 YAML 구성 파일을 통해 전역 설정, 추론 제공자, 어댑터 동작을 관리합니다.

대상 사용자

데이터와 인프라에 대한 엄격한 제어가 필요한 개발자 및 조직, 특히 온프레미스, 사내 클라우드, 오프라인 환경에서 운영하는 사용자에게 적합합니다.

주요 특징

• 통합 API: 하위 모델 제공자에 관계없이 단일 OpenAI 호환 API 계약을 제공합니다.
• 광범위한 연결성: 어댑터를 통해 SQL, NoSQL, 벡터 스토어, API 등 다양한 데이터 소스에 연결할 수 있습니다.
• 기업용 거버넌스: 내장된 RBAC, OIDC/SSO, 감사 로그, 파일 암호화, 키 기반 할당량 기능을 제공합니다.
• 생산 환경 내구성: 제공자 백업, 회로 차단기, 헬스 체크, 핫 어댑터 리로드 기능을 지원합니다.
• 관리 제어 플레인: 서버 코드를 수정하지 않고 API 키, 프롬프트, 어댑터를 관리할 수 있는 통합 UI를 제공합니다.