adaline/gateway

The only fully local production-grade Super SDK that provides a simple, unified, and powerful interface for calling more than 200+ LLMs.

What it solves

Adaline Gateway는 다양한 공급자에서 제공하는 300개 이상의 대규모 언어 모델(LLM)과 상호 작용하기 위한 통합 인터페이스를 제공하는 TypeScript 기반 SDK입니다. 모델마다 공급자별 코드를 작성할 필요가 없어 핵심 애플리케이션 로직을 변경하지 않고도 모델이나 공급자를 전환할 수 있습니다.

How it works

이 SDK는 프록시가 아니라 로컬 통합 레이어로 동작합니다. 핵심 패키지와 선택적인 공급자 전용 패키지(예: @adaline/openai, @adaline/anthropic)를 사용해 일반 요청 타입을 각 LLM 공급자가 요구하는 스키마로 변환합니다. 완전한 채팅 응답과 스트리밍 응답, 그리고 단어 임베딩을 모두 지원합니다.

Who it’s for

엔터프라이즈 개발자를 위해 설계되었으며, 여러 LLM 공급자를 표준화된 방식으로 관리하면서 인프라와 데이터 프라이버시를 완전히 제어해야 하는 경우에 적합합니다.

Highlights

  • Unified Interface: OpenAI, Anthropic, Google, AWS Bedrock 등 다양한 공급자에 걸쳐 300개 이상의 LLM을 호출할 수 있는 단일 API.
  • Production-Ready Features: 지수 백오프를 이용한 자동 재시도, 커스텀 큐 지원 배치 처리, 캐싱 기능을 기본 제공.
  • Local Deployment: 완전히 로컬에서 동작하며 프록시가 아니므로 데이터 프라이버시가 보장됩니다.
  • Extensibility: 로깅, 캐싱, HTTP 클라이언트를 위한 커스텀 플러그인 및 로컬 모델용 플러그‑앤‑플레이형 커스텀 공급자를 지원합니다.
  • Comprehensive Tooling: 툴 호출, OpenTelemetry 연동을 통한 계측, 강력한 TypeScript 타입 정의를 포함합니다.