Hugging Face Inference API를 통해 AI Comic Factory 배포하기

Hugging Face는 Inference API를 사용하여 AI Comic Factory를 개인 Space에 배포하는 튜토리얼을 출시했습니다. 이를 통해 사용자는 자신의 Hugging Face PRO 계정을 활용해 고성능 모델에 접근함으로써 공공 Space와 관련된 긴 대기 시간을 피할 수 있습니다.

AI Comic Factory 아키텍처

AI Comic Factory는 Docker를 통해 배포되는 NextJS 애플리케이션으로 구축되었습니다. 표준 Hugging Face Spaces와 달리, 두 개의 서로 다른 API에 의존하는 클라이언트-서버 아키텍처를 활용하여 콘텐츠를 생성합니다.

  • Language Model API: 현재 Llama-2를 사용하여 텍스트 생성 및 스토리 구조화에 활용됩니다.
  • Stable Diffusion API: 현재 SDXL 1.0을 사용하여 이미지 생성에 활용됩니다.

Space 복제를 통한 배포 프로세스

사용자는 기존 Space를 복제하여 AI Comic Factory의 자신의 버전을 배포할 수 있습니다. 애플리케이션이 Docker 컨테이너 내에서 실행되며 로컬에서 무거운 연산을 수행하지 않기 때문에 가장 작은 사용 가능한 CPU 인스턴스에서 호스팅할 수 있습니다. 공식 공개 Space는 높은 트래픽을 처리하기 위해 더 큰 인스턴스를 사용합니다.

복제된 Space를 성공적으로 운영하려면 사용자는 환경 설정 내에서 자신의 Hugging Face 토큰을 구성해야 합니다.

백엔드 엔진 구성

AI Comic Factory는 여러 백엔드 엔진을 지원하며, 이는 두 가지 특정 환경 변수를 통해 관리됩니다:

  • LLM_ENGINE: 언어 모델을 구성합니다. 지원되는 값에는 INFERENCE_API, INFERENCE_ENDPOINT, OPENAI가 포함됩니다.
  • RENDERING_ENGINE: 이미지 생성 엔진을 구성합니다. 지원되는 값에는 INFERENCE_API, INFERENCE_ENDPOINT, REPLICATE, VIDEOCHAIN가 포함됩니다.

Hugging Face Inference API를 사용하는 표준 배포의 경우, 두 변수 모두 INFERENCE_API로 설정해야 합니다.

사전 구성된 모델 기본값

Hugging Face PRO 계정을 가진 사용자를 위해, AI Comic Factory는 Inference API용으로 다음과 같은 모델이 사전 구성되어 제공됩니다:

  • LLM 모델: meta-llama/Llama-2-70b-chat-hf (via LLM_HF_INFERENCE_API_MODEL)
  • 렌더링 모델: stabilityai/stable-diffusion-xl-base-1.0 (via RENDERING_HF_RENDERING_INFERENCE_API_MODEL)

현재 제한 사항 및 미래 범위

Inference API 통합은 기능적으로 작동하지만, 개발 초기 단계에 있습니다. 일부 고급 기능은 아직 이 배포 방법으로 포팅되지 않았으며, 구체적으로 SDXL 리파이너 단계 및 이미지 업스케일링 기능이 해당됩니다.

Sources