mozilla-ai/any-llm

Communicate with an LLM provider using a single interface

해결하는 문제

LLM 제공업체 인터페이스의 파편화된 환경을 해결합니다. 제공업체마다 매개변수 이름과 응답 형식이 약간씩 다르기 때문에, 개발자는 모델을 전환할 때 코드를 다시 작성해야 하는 경우가 많습니다. any-llm은 핵심 애플리케이션 로직을 변경할 필요 없이 여러 LLM 제공업체에 액세스할 수 있는 단일 통합 인터페이스를 제공합니다.

작동 방식

이 라이브러리는 최대 호환성을 보장하기 위해 공식 제공업체 SDK를 활용하는 가벼운 래퍼 역할을 합니다. 모델과 상호 작용하는 두 가지 주요 방법을 제공합니다:

  1. Direct API Functions: 스크립트 및 노트북에 이상적인 상태 비저장(stateless) completion 함수.
  2. AnyLLM Class: 클라이언트 및 연결 풀링을 재사용하는 상태 저장(stateful) 방식으로, 프로덕션 애플리케이션에 권장됩니다.

provider:model 문자열 형식 또는 개별 매개변수를 지원하여 OpenAI, Anthropic, Mistral, Ollama와 같은 제공업체로 요청을 라우팅할 수 있으며, OpenAI 호환 커스텀 엔드포인트에도 연결할 수 있습니다.

대상 사용자

다양한 LLM 제공업체 간을 쉽게 전환하고자 하는 개발자, LiteLLM에서 마이그레이션하는 사용자, 그리고 호스팅된 프록시 서버에 대한 의존성을 피해야 하는 프레임워크 불가지론적(framework-agnostic) AI 애플리케이션을 구축하는 팀을 위해 설계되었습니다.

주요 특징

  • 통합 인터페이스: 단일 문자열을 변경하여 제공업체를 전환할 수 있습니다.
  • 공식 SDK 통합: 더 나은 호환성을 유지하기 위해 인터페이스를 재구현하는 대신 공식 SDK를 사용합니다.
  • 프록시 불필요: 호스팅된 프록시 없이 코드와 제공업체 사이에서 직접 작동합니다.
  • 개발자 경험: IDE 지원을 위한 완전한 타입 힌트와 명확한 오류 메시지를 포함합니다.

관련

  • 프로젝트
    theopenco/llmgateway

    LLM Gateway는 여러 LLM 공급자로의 요청을 라우팅하는 오픈소스 API 게이트웨이로, 단일 OpenAI 호환 엔드포인트를 제공하고 API 키를 중앙에서 관리하며 내장된 사용량 및 성능 분석 기능을 제공합니다. Docker를 통해 호스팅된 SaaS 서비스 또는 자체 호스팅이 가능합니다.

  • 프로젝트
    fruitbars/simple-one-api

    simple‑one‑api는 여러 LLM 프로바이더를 OpenAI 호환 엔드포인트로 통합하고, 용량 인식 키 스케줄링, 4단계 속도 제한, 내장된 React 채팅 UI, 시각적 설정 콘솔, Wails 데스크톱 클라이언트를 제공하는 오픈 소스 Go 게이트웨이입니다. 단일 바이너리, Docker 컨테이너, 또는 데스크톱 앱으로 실행할 수 있으며, 설정은 SQLite에 저장됩니다.

  • 프로젝트
    BerriAI/litellm

    100개 이상의 다양한 LLM 제공업체를 호출하기 위한 통일된 OpenAI 호환 인터페이스를 제공하는 오픈소스 AI 게이트웨이 및 Python SDK입니다.

  • 프로젝트
    huggingface/AnyLanguageModel

    AnyLanguageModel는 Apple의 FoundationModels 임포트를 대체하는 Swift 패키지로, Apple, Core ML, MLX, llama.cpp, Ollama, OpenAI, Anthropic, Gemini 등 다양한 LLM 제공업체에 대해 통합된 API를 제공합니다. `LanguageModelSession`을 통한 프롬프트 처리, `@Generable/@Guide`를 통한 Swift 구조체의 가이드된 생성, 데리게이트 훅을 통한 도구 호출 지원, 선택적 이미지 입력, 바이너리 크기를 작게 유지하기 위한 트레이트 기반 종속성 선택을 제공합니다. 설치는 SwiftPM을 통해 가능하며, 백엔드는 트레이트(`CoreML`, `MLX`, `Llama`)로 활성화합니다. 보안 가이드라인은 API 키를 하드코딩하지 말고, Keychain에 사용자 제공 키를 저장하거나 프록시 서버를 사용할 것을 권장합니다. 대상은 Swift 6.1+, iOS 17/macOS 14+, 온디바이스 및 클라우드 API 모두를 지원합니다.

  • 프로젝트
    andrewyng/aisuite

    최소한의 코드로 여러 LLM 제공업체에 걸쳐 AI 에이전트를 구축할 수 있도록 통합된 Chat Completions API 및 Agents API를 제공하는 경량 Python 라이브러리.