DeepInfra와 Hugging Face Inference Providers의 통합

DeepInfra와 Hugging Face Inference Providers의 통합

Hugging Face는 Hugging Face Hub에서 지원되는 Inference Provider로 DeepInfra를 통합했습니다. 이번 통합을 통해 개발자들은 Hugging Face의 인프라와 클라이언트 SDK를 통해 DeepInfra의 서버리스 AI 추론 플랫폼과 100개 이상의 모델 카탈로그에 직접 액세스할 수 있습니다.

서버리스 추론 기능

DeepInfra는 광범위한 AI 기능에 대해 비용 효율적인 서버리스 추론을 제공합니다. 이 플랫폼은 text-to-image, text-to-video, embeddings를 포함한 다양한 모델 유형을 지원하지만, Hugging Face와의 초기 통합은 대화 및 텍스트 생성 작업에 초점을 맞추고 있습니다.

이 통합을 통해 사용할 수 있는 지원되는 open-weight LLM은 다음과 같습니다:

  • DeepSeek V4
  • Kimi-K2.6
  • GLM-5.1

embeddings, text-to-video, text-to-image와 같은 추가 작업에 대한 지원은 향후 출시될 예정입니다.

통합 및 워크플로우

사용자는 Hugging Face 웹사이트 UI 또는 클라이언트 SDK를 통해 DeepInfra 호스팅 모델에 액세스할 수 있습니다.

웹사이트 UI 설정

사용자 계정 설정에서 사용자는 두 가지 방식으로 추론 경험을 관리할 수 있습니다:

  1. Custom API Keys: 사용자는 제공업체를 위한 자체 API 키를 설정할 수 있습니다. 이 경우 요청은 제공업체로 직접 전송됩니다.
  2. Provider Preference: 사용자는 선호도에 따라 제공업체의 순서를 정할 수 있으며, 이는 모델 페이지의 위젯 및 코드 스니펫 순서에 영향을 미칩니다.

요청 라우팅 모드

Inference Providers를 호출하는 데는 두 가지 별개의 모드가 있습니다:

  • Custom Key Mode: 사용자의 제공업체별 API 키를 사용하여 호출이 추론 제공업체로 직접 전송됩니다.
  • Routed by HF Mode: 요청이 Hugging Face를 통해 라우팅됩니다. 사용자는 제공업체별 토큰이 필요하지 않으며, 비용은 Hugging Face 계정에 직접 청구됩니다.

클라이언트 SDK 지원

DeepInfra는 Python용 huggingface_hub (버전 1.11.2 이상) 및 JavaScript용 @huggingface/inference를 통해 액세스할 수 있습니다. 이 통합은 OpenClaw, Hermes Agents, OpenCode, Pi를 포함한 다양한 Agent Harness로도 확장되어, 추가적인 glue code 없이 모델을 이러한 도구에 연결할 수 있습니다.

결제 및 크레딧

결제는 사용된 라우팅 방법에 따라 달라집니다:

  • Direct Requests: 사용자는 제공업체 계정을 사용하여 추론 제공업체(예: DeepInfra)로부터 비용을 청구받습니다.
  • Routed Requests: 사용자는 Hugging Face를 통해 표준 제공업체 API 요금을 지불합니다. Hugging Face는 이러한 비용에 마진을 추가하지 않습니다.

Hugging Face PRO 구독자는 매달 2달러 상당의 Inference 크레딧을 받으며, 이는 다양한 제공업체에서 사용할 수 있습니다. 로그인한 무료 사용자는 소량의 무료 추론 할당량을 제공받습니다.

기술 구현 예시

Python을 통해 DeepInfra 호스팅 모델(예: DeepSeek V4 Pro)을 사용하려면, OpenAI 호환 클라이언트를 Hugging Face 라우터와 함께 사용할 수 있습니다:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Pro:deepinfra",
    messages=[
        {
            "role": "user",
            "content": "Write a Python function that returns the nth Fibonacci number using memoization."
        }
    ],
)

print(completion.choices[0].message)

Sources