透過 Hugging Face Inference API 部署 AI Comic Factory

Hugging Face 已發布一個使用 Inference API 將 AI Comic Factory 部署到私人 Space 的教程。這使得用戶可以透過利用自己的 Hugging Face PRO 帳戶來存取高效能模型，從而避免與公共 Space 相關的長時間等待。

AI Comic Factory 架構

AI Comic Factory 是一個透過 Docker 部署的 NextJS 應用程式。與標準的 Hugging Face Spaces 不同，它採用客戶端-伺服器架構，依賴兩個不同的 API 來生成內容：

• Language Model API: 目前使用 Llama-2 進行文字生成和故事結構。
• Stable Diffusion API: 目前使用 SDXL 1.0 進行圖像生成。

透過 Space 複製的部署流程

用戶可以透過複製現有的 Space 來部署他們自己的 AI Comic Factory 版本。由於應用程式在 Docker 容器內運行且不在本地執行重運算，因此可以託管在最小的可用 CPU 實例上。官方公共 Space 使用較大的實例來處理高流量。

要成功操作複製的 Space，用戶必須在環境設定內配置他們的 Hugging Face 權杖。

後端引擎配置

AI Comic Factory 支援多種後端引擎，這些引擎透過兩個特定的環境變數進行管理：

• LLM_ENGINE: 配置語言模型。支援的值包括 INFERENCE_API、INFERENCE_ENDPOINT 和 OPENAI。
• RENDERING_ENGINE: 配置圖像生成引擎。支援的值包括 INFERENCE_API、INFERENCE_ENDPOINT、REPLICATE 和 VIDEOCHAIN。

對於使用 Hugging Face Inference API 的標準部署，兩個變數都必須設定為 INFERENCE_API。

預設模型配置

對於擁有 Hugging Face PRO 帳戶的用戶，AI Comic Factory 附帶以下為 Inference API 預先配置的模型：

• LLM Model: meta-llama/Llama-2-70b-chat-hf (透過 LLM_HF_INFERENCE_API_MODEL)
• Rendering Model: stabilityai/stable-diffusion-xl-base-1.0 (透過 RENDERING_HF_RENDERING_INFERENCE_API_MODEL)

當前限制與未來範圍

雖然 Inference API 的整合是功能正常的，但它仍處於開發的早期階段。某些進階功能尚未移植到此部署方法，具體而言是 SDXL 細化步驟和圖像放大功能。