Featherless AI와 Hugging Face 추론 제공자 통합

Hugging Face는 Featherless AI를 Hugging Face Hub에서 지원되는 추론 제공자로 통합했습니다. 이 통합을 통해 사용자는 모델 페이지와 클라이언트 SDK를 통해 서버리스 추론으로 다양한 오픈소스 텍스트 및 대화 모델에 접근할 수 있습니다.

Featherless AI 기능

Featherless AI는 고유한 모델 로딩 및 GPU 오케스트레이션을 활용하여 매우 방대한 모델 카탈로그를 제공하는 서버리스 추론 제공자입니다. 제한된 모델 세트에 대한 저비용 접근과 무제한 모델 범위에 대한 사설 서버 관리의 높은 비용 사이의 격차를 메우는 것을 목표로 하며, 서버리스 가격으로 다양한 모델을 제공합니다.

지원되는 모델에는 DeepSeek, Meta, Google, Qwen 등과 같은 제공업체의 최신 오픈소스 릴리스가 포함됩니다.

통합 및 사용 워크플로우

사용자는 Hugging Face 웹사이트 UI 또는 공식 클라이언트 SDK를 통해 Featherless AI와 상호작용할 수 있습니다.

웹사이트 UI 구성

사용자 계정 설정에서 사용자는 다음을 할 수 있습니다:

  • API 키 관리: 특정 제공업체에 대한 맞춤 API 키를 설정합니다. 맞춤 키가 제공되지 않으면 요청은 Hugging Face를 통해 라우팅됩니다.
  • 제공자 선호도 설정: 제공자를 선호도 순으로 정렬하여 모델 페이지 위젯 및 코드 스니펫에 표시되는 방식을 결정합니다.

클라이언트 SDK 구현

Featherless AI는 Python 및 JavaScript SDK 모두에 통합되어 있습니다. Featherless AI를 제공자로 사용하려면 provider 매개변수를 "featherless-ai" 로 설정해야 합니다.

Python 예제 (huggingface_hub v0.33.0+):

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="featherless-ai",
    api_key=os.environ["HF_TOKEN"]
)

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?"
    }
]

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1-0528", 
    messages=messages,
)

print(completion.choices[0].message)

JavaScript 예제 (@huggingface/inference):

import { InferenceClient } from "@huggingface/inference";

const client = new InferenceClient(process.env.HF_TOKEN);

const chatCompletion = await client.chatCompletion({
    model: "deepseek-ai/DeepSeek-R1-0528",
    messages: [
        {
            role: "user",
            content: "What is the capital of France?"
        }
    ],
    provider: "featherless-ai",
});

console.log(chatCompletion.choices[0].message);

요청 라우팅 및 청구

Hugging Face Hub에서 추론 제공자를 호출하는 두 가지 별도 모드가 있습니다:

  1. 맞춤 키 (직접 호출): 요청이 사용자의 자체 API 키를 사용하여 추론 제공자에게 직접 전달됩니다. 이 경우 사용자는 제공자(예: Featherless AI)에게 직접 청구됩니다.
  2. HF에 의해 라우팅 (라우팅된 요청): 요청이 Hugging Face Hub를 통해 인증됩니다. 비용은 Hugging Face 계정에 청구되며, Hugging Face는 추가 마크업 없이 표준 API 요율로 제공자 비용을 전달합니다.

구독 혜택

  • PRO 사용자: 매월 $2 상당의 추론 크레딧을 받으며, 이를 다양한 제공자에서 사용할 수 있습니다.
  • 무료 사용자: 소량의 할당량으로 무료 추론에 접근할 수 있습니다.

Sources