Hugging Face Inference API を使用した AI Comic Factory のデプロイ

Hugging Face は、Inference API を使用して AI Comic Factory をプライベート Space にデプロイするチュートリアルをリリースしました。これにより、ユーザーは自身の Hugging Face PRO アカウントを活用して高性能モデルにアクセスすることで、パブリック Space に関連する長い待ち時間を回避できます。

AI Comic Factory のアーキテクチャ

AI Comic Factory は、Docker を介してデプロイされる NextJS アプリケーションとして構築されています。標準の Hugging Face Spaces とは異なり、コンテンツを生成するために 2 つの異なる API に依存するクライアントサーバー アーキテクチャを利用しています。

• Language Model API: 現在、テキスト生成とストーリーストラクチャリングに Llama-2 を使用しています。
• Stable Diffusion API: 現在、画像生成に SDXL 1.0 を使用しています。

Space の複製によるデプロイメント プロセス

ユーザーは、既存の Space を複製することで AI Comic Factory の独自バージョンをデプロイできます。アプリケーションは Docker コンテナ内で実行され、ローカルで重い処理を行わないため、利用可能な最小の CPU インスタンスでホストできます。公式のパブリック Space は、高いトラフィック量に対応するためにより大きなインスタンスを使用しています。

複製された Space を正常に動作させるため、ユーザーは環境設定内で自分の Hugging Face トークンを設定する必要があります。

バックエンド エンジンの設定

AI Comic Factory は複数のバックエンド エンジンをサポートしており、これらは 2 つの特定の環境変数を通じて管理されます。

• LLM_ENGINE: 言語モデルを設定します。サポートされる値には INFERENCE_API、INFERENCE_ENDPOINT、OPENAI が含まれます。
• RENDERING_ENGINE: 画像生成エンジンを設定します。サポートされる値には INFERENCE_API、INFERENCE_ENDPOINT、REPLICATE、VIDEOCHAIN が含まれます。

Hugging Face Inference API を使用した標準的なデプロイでは、両方の変数を INFERENCE_API に設定する必要があります。

事前に設定されたモデルのデフォルト

Hugging Face PRO アカウントを持つユーザー向けに、AI Comic Factory は Inference API 用に次のモデルが事前に設定されています。

• LLM モデル: meta-llama/Llama-2-70b-chat-hf (via LLM_HF_INFERENCE_API_MODEL)
• レンダリング モデル: stabilityai/stable-diffusion-xl-base-1.0 (via RENDERING_HF_RENDERING_INFERENCE_API_MODEL)

現在の制限と今後の範囲

Inference API の統合は機能していますが、開発の初期段階にあります。特定の高度な機能はまだこのデプロイメント方法に移植されておらず、具体的には SDXL リファイナー ステップと画像アップスケーリング機能が該当します。