DALL·E: テキストから画像を生成

OpenAIは、自然言語の説明からオリジナルの画像を生成できるニューラルネットワークであるDALL·Eを発表しました。120億パラメータのトランスフォーマーアーキテクチャを活用することで、DALL·Eは複雑なシーンを合成し、無関係な概念を組み合わせ、ゼロショット視覚的推論を行うことができます。

アーキテクチャと技術的アプローチ

DALL·Eは、テキストと画像を単一のデータストリームとして処理するデコーダーオンリーのトランスフォーマー言語モデルです。このモデルは、最大尤度を使用してトークンを自己回帰的に生成するように訓練されています。

トークン化とデータストリーム

入力/出力ストリーム: このモデルは、テキストプロンプト用の256トークンと画像用の1,024トークンからなる、シーケンスあたり合計1,280トークンを処理します。
語彙: テキストは、語彙サイズが16,384のBPEエンコードトークンで表現されます。画像は、事前学習された離散VAEを使用して離散潜在コードの32x32グリッドに圧縮され、語彙サイズが8,192になります。
注意機構: このモデルは64層の自己注意層を特徴とします。画像トークンはすべてのテキストトークンに注意を向けることができ、テキストトークンは標準的な因果マスクを使用します。画像トークンは、層によって行、列、または畳み込みのスパース注意パターンを使用します。

画像生成と改良

DALL·Eは、ゼロから画像を生成したり、既存の画像の長方形領域（右下隅まで拡張）を再生成して、テキストプロンプトとの整合性を保つことができます。デモンストレーションでの出力品質を向上させるために、OpenAIはCLIPを使用してオフラインで生成された512サンプルのうち上位32サンプルを再ランク付けしました。

コア機能

DALL·Eは、言語を通じて視覚的概念を操作できる多様な機能を示しています。

構成的制御と属性

属性変更: モデルはオブジェクトの属性と、シーン内でのオブジェクトの出現回数を変更できます。
複数のオブジェクト: DALL·Eは、複数のオブジェクト、それらの属性、および空間的関係（例: "赤い帽子をかぶったヘッジホッグ、黄色い手袋、青いシャツ、緑のズボン"）を管理できます。ただし、オブジェクトが増えるにつれてパフォーマンスは低下し、キャプションが言い換えられたときにモデルは脆くなる可能性があります。

視点と構造

視点制御: DALL·Eは、シーンの視点と3Dレンダリングスタイルを制御でき、等間隔の角度で人物を描画することによって、回転する頭のスムーズなアニメーションを生成する能力を含みます。
光学的歪み: モデルは「魚眼レンズビュー」や「球形パノラマ」などの効果を適用できます。
内部および外部の詳細: モデルは、断面ビューを通じて内部構造をレンダリングし、マクロ写真と"X線"スタイルを通じて外部構造をレンダリングできます。

コンテキスト推論

明確な仕様を必要とする3Dレンダリングエンジンとは異なり、DALL·Eは未指定のキャプションの"空白を埋める"ことができます。たとえば、キャプションが日の出時の畑の中のカピバラを説明している場合、影が明示的に言及されていなくても、影の必要性を推測できます。

高度な推論と知識

ゼロショット視覚的推論

DALL·Eは、特定のタスクのための訓練なしで画像から画像への変換タスクを実行できるゼロショット推論の発現的能力を示しています。この能力は、訓練手順中に明示的に奨励されることはありませんでした。

世界知識

地理的知識: モデルはランドマークや近隣地域についての事実を学習していますが、その精度は様々です。
時間的知識: DALL·Eは時間とともに変化する概念を表現できます。

概念の合成

擬人化: モデルは動物やオブジェクトの擬人化バージョンを作成できます。
概念の組み合わせ: DALL·Eは、無関係な概念に基づいて製品を設計するなど（例: アボカドの形をしたアームチェア）、 disparateなアイデアを組み合わせてオブジェクトを合成できます。