eliasbiondo/antirion

Antirion은 오픈소스 AI 게이트웨이입니다. 애플리케이션과 AI 모델 제공업체(OpenAI, Anthropic, Google 등) 사이에 위치하는 단일 프로그램입니다. 여러 제공업체와 통신하기 위한 공통 API를 제공하며, 스마트 라우팅, 비용 제어, 안전 검사, 모니터링과 같은 기능을 추가합니다. 이 모든 기능은 관리용 내장 웹 콘솔을 포함하는 가벼운 Rust 바이너리에 통합되어 있습니다.

주요 기능 (README에서):

• 속도: 서브 밀리초 오버헤드와 높은 처리량을 주장하며, Bifrost 및 LiteLLM과의 벤치마크에서 더 빠르고 리소스 효율적임을 보여줍니다.
• 제공업체 지원: OpenAI, Azure, Anthropic, Bedrock, Vertex, Gemini, Mistral, Cohere, Groq 등을 지원하며, OpenAI 또는 Anthropic 호환 서버도 지원합니다. 서로 다른 API 방언 간 변환도 수행합니다(예: OpenAI 클라이언트가 Claude 모델을 호출).
• 라우팅 및 복원력: 폴백 체인, 가중 분할, 최소 비용/지연/사용 중 전략, 재시도, 회로 차단기 등.
• 비용 제어: 속도 제한, 달러 또는 토큰 예산, 모델별 가격 책정, 지출 원장, 알림.
• 안전성: PII, 비밀, 키워드, JSON 스키마, 모더레이션, 프롬프트 인젝션 탐지를 위한 가드레일. 차단 또는 편집과 같은 작업을 지원합니다.
• 관찰 가능성: 전체 세부 정보가 포함된 요청 로그, 분석, 캐싱(정확 및 의미론적).

시작하기는 간단합니다: Docker 컨테이너를 실행하고, 콘솔을 열고, 관리자 토큰을 붙여넣고, API 키로 제공업체(예: OpenAI)를 추가하고, 모델을 추가하고, API 키를 만들고, 첫 번째 요청을 보내면 됩니다. 기본 사용에는 구성 파일이 필요 없습니다.

배포 옵션: Docker(distroless 이미지), Docker Compose(독립형 또는 클러스터), Kubernetes(Helm 차트), Linux용 사전 빌드 바이너리, 또는 소스에서 빌드. 임베디드 스토어가 있는 단일 노드로 실행하거나 PostgreSQL 및 Valkey를 사용하는 클러스터로 실행할 수 있습니다.

이 프로젝트는 Apache-2.0 라이선스이며 Rust로 작성되었습니다. README에는 자세한 성능 벤치마크와 재현 단계가 포함되어 있습니다.