Hugging Face, Hyperbolic, Nebius AI Studio 및 Novita를 서버리스 추론 제공업체로 추가

Hugging Face가 Hyperbolic, Nebius AI Studio 및 Novita를 서버리스 추론 제공업체 생태계에 추가했습니다. 이번 확장을 통해 Hub의 모델 페이지와 공식 클라이언트 SDK를 통해 서버리스 추론을 위해 사용할 수 있는 모델의 다양성이 증가했습니다.

확장된 모델 가용성

Hyperbolic, Nebius AI Studio 및 Novita의 통합을 통해 DeepSeek-R1 및 FLUX.1을 포함한 여러 수요 높은 모델에 액세스할 수 있습니다. 이러한 새로운 파트너들은 Together AI, Sambanova, Replicate, fal, Fireworks.ai와 같은 기존 제공업체에 합류하게 되었습니다.

통합 및 사용 워크플로우

사용자는 Hugging Face 웹사이트 UI와 공식 클라이언트 SDK라는 두 가지 주요 인터페이스를 통해 이러한 추론 제공업체에 액세스할 수 있습니다.

웹사이트 UI 설정

사용자 계정 설정에서 Hugging Face는 사용자가 다음을 수행할 수 있도록 합니다:

  • API 키 관리: 사용자는 특정 제공업체를 위해 사용자 지정 API 키를 설정할 수 있습니다. 사용자 지정 키가 제공되지 않으면 요청은 Hugging Face를 통해 라우팅됩니다.
  • 주문 기본 설정: 사용자는 모델 페이지 위젯 및 코드 스니펫에 표시되는 순서를 결정하기 위해 제공업체의 우선순위를 지정할 수 있습니다.

클라이언트 SDK 구현

서버리스 추론은 huggingface_hub Python 라이브러리와 @huggingface/inference JavaScript 라이브러리를 통해 지원됩니다.

Python에서 사용자는 InferenceClient 내에서 provider 인수를 지정하여 나머지 코드는 동일하게 유지하면서 제공업체 간 전환(예: provider="hyperbolic" 또는 provider="nebius")을 할 수 있습니다. 이 기능에 대한 공식 지원은 huggingface_hub의 v0.29.0 버전에서 출시될 예정입니다.

JavaScript에서 provider 매개변수는 HfInference 클라이언트의 chatCompletion 메서드 내에서 백엔드 제공업체를 지정하기 위해 전달됩니다(예: provider: "novita").

결제 및 인증 모드

추론 호출을 실행하는 두 가지 별개의 모드가 있으며, 이는 결제 처리 방식을 결정합니다:

  1. 사용자 지정 키 모드: 호출은 제공업체 자체의 API 키를 사용하여 추론 제공업체로 직접 전송됩니다. 결제는 해당 제공업체의 계정에서 완전히 처리됩니다.
  2. 라우팅 모드: 호출은 Hugging Face Hub를 통해 인증됩니다. 요금은 Hugging Face의 추가 마진 없이 표준 제공업체 API 요율로 Hugging Face 계정에 직접 적용됩니다.

구독 혜택

Hugging Face PRO 플랜 사용자는 매달 2달러 상당의 Inference 크레딧을 받으며, 이는 다양한 제공업체에서 사용할 수 있습니다. 로그인한 무료 사용자는 소량의 무료 추론 할당량을 제공받습니다.

Sources