lucidrains/autoregressive-diffusion-pytorch

何を解決するか

このプロジェクトは、多くの自己回帰画像モデルで一般的な要件であるベクトル量子化 (VQ) を必要とせずに画像を生成する方法を実装しています。拡散ベースのアプローチを使用して、画像データをトークンのシーケンスとして扱う画像生成を可能にします。

仕組み

このライブラリは、論文 "Autoregressive Image Generation without Vector Quantization" で説明されているアーキテクチャのPyTorch実装を提供します。画像をパッチ (トークン) のシーケンスとして扱い、自己回帰的な拡散プロセスを適用して生成します。また、代替の生成パスとして、flow matching (via ImageAutoregressiveFlow) を使用した改良版も含まれています。

対象者

生成AIに取り組む研究者や開発者、特に画像合成や、従来のVQベースの自己回帰モデルに代わるアーキテクチャに関心がある方に適しています。

ハイライト

• ベクトル量子化なしでの画像生成をサポート。
• 画像データセットでのトレーニングプロセスを簡素化するための専用の ImageTrainer を搭載。
• 標準的な自己回帰拡散とflow-matchingの両方のバージョンを提供。
• 探索的なモデリングをサポートし、タイムステップごとの複数の候補の中から最適なものを選んでトレーニングすることが可能です。