bentoml/BentoDiffusion
BentoDiffusion: A collection of diffusion models served with BentoML
What it solves
텍스트 프롬프트를 사용하여 이미지 또는 비디오 클립을 생성하고 조작하는 Stable Diffusion 계열 모델을 셀프 호스팅하고 배포하는 표준화된 방법을 제공합니다.
Who it works
이 프로젝트는 BentoML 프레미워크를 사용하여 확산 모델(SDXL Turbo, FLUX.1, SD3.5 등)을 프로덕션용 HTTP 서비스로 래핑합니다. 사용자는 bentoml serve를 사용하여 로컬에서 이러한 서비스를 실행하거나, BentoCloud 또는 OCI 호환 인프라에 배포하여 확장성을 확보할 수 있습니다.
Who it's for
서빙 인프라를 처음부터 구축하지 않고 확산 모델을 프로덕션 환경에 배포하고자 하는 개발자와 ML 엔지니어입니다.
Highlights
- FLUX.1, Stable Diffusion 3.5, ControlNet을 포함한 다양한 모델 지원.
- BentoCloud 또는 OCI 호환 이미지를 통한 간편한 배포 옵션.
- 배포된 모델과 즉시 상호작용할 수 있는 내장 Swagger UI.
- 애플리케이션에 모델을 통합하기 위한 간단한 Python client 및 CURL 지원.
관련
- Dispatch
BentoML을 사용한 DeepFloyd IF 배포Hugging Face는 BentoML을 사용하여 DeepFloyd IF 텍스트-이미지 모델을 배포하는 방법을 보여주며, 여러 GPU에 걸쳐 다단계 픽셀 확산 아키텍처를 독립적으로 확장할 수 있게 합니다.
- Dispatch
Diffusers를 이용한 Stable DiffusionHugging Face는 Diffusers 라이브러리를 사용해 텍스트‑이미지 Stable Diffusion 모델을 실행하는 방법을 발표했으며, 코드, 라이선스 세부 정보 및 모델의 잠재 확산 아키텍처에 대한 설명을 제공합니다.
- 프로젝트
bentoml/BentoMLBentoML은 모든 AI/ML 모델을 프로덕션 등급 추론 API로 전환하는 과정을 간소화하는 Python 라이브러리입니다. 간단한 데코레이터로 서비스를 정의하고, 버전 관리된 아티팩트(Bentos)를 자동으로 빌드하며, Docker 이미지를 생성하고, 동적 배칭 및 모델 병렬 처리와 같은 성능 기능을 제공합니다. 최소한의 DevOps 오버헤드로 재현 가능하고 확장 가능한 모델 서빙을 원하는 엔지니어에게 이상적입니다.
- 프로젝트
- 프로젝트
bentoml/OpenLLMOpenLLM은 오픈소스 LLM(예: Llama 3, Qwen 2.5, Mistral)을 로컬에서 실행하고 OpenAI 호환 REST API로 노출할 수 있는 Python 도구입니다. 단일 명령으로 GPU 가속 서버를 시작하고, 내장 웹 채팅 UI를 사용하며, Docker 또는 Kubernetes를 통해 서비스를 배포할 수 있습니다. 모델 카탈로그, 사용자 정의 모델 리포지토리를 지원하며 고성능 vLLM 백엔드와 통합됩니다.