Hugging Face, Public AI를 추론 제공자로 통합

Hugging Face는 Public AI를 Hugging Face Hub에서 지원되는 추론 제공자로 통합했습니다. 이 통합을 통해 사용자는 Swiss AI Initiative와 AI Singapore와 같은 공공 및 주권 AI 모델에 모델 페이지에서 직접 서버리스 추론으로, 그리고 클라이언트 SDK를 통해 접근할 수 있습니다.

Public AI 인프라 및 미션

Public AI는 공공 AI 모델 제작자를 지원하기 위해 추론 유틸리티를 제공하는 비영리 오픈소스 프로젝트입니다. 그 인프라는 복원력과 분산 접근성을 위해 설계되었습니다:

  • Backend: 유틸리티는 vLLM 기반 백엔드를 사용하며, 서버는 OpenAI 호환 API를 노출합니다.
  • Deployment: 컴퓨팅은 국가 및 산업 파트너가 기부한 클러스터에 배포됩니다.
  • Routing: 전 세계 로드밸런싱 레이어가 호스트 국가와 관계없이 가장 효율적인 컴퓨트 소스로 요청을 투명하게 라우팅합니다.
  • Funding: 무료 공공 접근은 현재 광고 보조금과 기부된 GPU 시간으로 지원되며, 장기적인 안정성은 기관 및 국가 기여로 보장될 예정입니다.

통합 및 사용 워크플로우

사용자는 Hugging Face Hub 웹사이트 UI 또는 공식 클라이언트 SDK를 통해 Public AI 모델에 접근할 수 있습니다. 시스템은 두 가지 주요 인증 및 라우팅 모드를 지원합니다:

웹사이트 UI 구성

사용자는 계정 설정에서 선호도를 관리할 수 있습니다:

  1. Set API Keys: 사용자는 특정 제공자를 위한 자체 API 키를 제공할 수 있습니다. 맞춤 키가 설정되지 않은 경우, 요청은 Hugging Face를 통해 라우팅됩니다.
  2. Order Preferences: 사용자는 모델 페이지 위젯 및 코드 스니펫에서 어떤 제공자가 먼저 표시될지 우선순위를 지정할 수 있습니다.

라우팅 모드

  • Custom Key: 요청은 사용자의 제공자 전용 API 키를 사용하여 추론 제공자에게 직접 전송됩니다.
  • Routed by HF: 요청은 Hugging Face 토큰을 통해 인증되며, 비용은 제공자 계정이 아닌 Hugging Face 계정에 청구됩니다.

SDK를 통한 기술 구현

Public AI는 Python 및 JavaScript SDK에 통합되었습니다. Public AI를 제공자로 사용하려면 huggingface_hub Python 라이브러리 버전이 0.34.6 이상이어야 합니다.

Python 예제

huggingface_hub의 InferenceClient를 사용하여, 사용자는 provider="publicai"를 지정하고 api_key를 제공할 수 있습니다 (라우팅을 위한 Hugging Face 토큰 또는 Public AI 키 중 하나).

JavaScript 예제

@huggingface/inference 라이브러리를 사용하여, chatCompletion 메서드 내에 provider 매개변수를 전달함으로써 요청을 Public AI로 라우팅합니다.

청구 및 크레딧

2025년 9월 17일 현재, Hugging Face 추론 제공자를 통한 Public AI 추론 유틸리티 사용은 무료이며, 가격 및 가용성은 변동될 수 있습니다.

플랫폼의 다른 제공자에 대해서는 청구가 다음 규칙을 따릅니다:

  • Direct Requests: 사용자가 제공자 전용 API 키를 사용할 때 제공자가 청구합니다.
  • Routed Requests: 사용자는 Hugging Face를 통해 표준 제공자 API 요금을 추가 마크업 없이 지불합니다.
  • PRO Plan Benefits: Hugging Face PRO 사용자는 월 $2의 추론 크레딧을 받아 다양한 제공자에 사용할 수 있습니다.

Sources