Ideogram 4 发布：开源权重 9.3B 文本生成图像模型

Ideogram 4 为专业设计引入结构化 JSON 提示词

Ideogram 4 是来自 Ideogram 的首个开源权重文本生成图像模型，其特点是拥有一个从头开始训练的 9.3B 参数基础模型。它专为高精度设计工作而设计，提供一流的多语言文本渲染、显式的边界框布局控制以及原生 2k 分辨率支持。

技术架构

Ideogram 4 是一个流匹配（flow-matching）文本生成图像模型，采用了完全单流 Diffusion Transformer (DiT) 架构。

单流 DiT

与具有文本和图像独立分支的模型不同，Ideogram 4 使用了一个 34 层的 transformer，其中文本和图像 token 被拼接成一个统一的序列。这种架构允许在过程的每一层进行深度的跨模态交互。

视觉-语言文本编码

Ideogram 4 没有采用标准的仅文本编码器（如 CLIP 或 T5），而是采用了 Qwen3-VL-8B-Instruct。这种视觉-语言模型允许系统从 13 个中间层中提取隐藏状态，为图像生成器提供从基础 token 信息到复杂构图理解的多尺度语义特征。

关键架构特性

  • 双分支分类器自由引导 (Dual-branch classifier-free guidance)： 允许独立细化条件（正向）和无条件（负向）分支，从而分别控制图像质量和提示词遵循度。
  • 灵活的分辨率： 原生支持从 256 到 2048（16 的倍数）的分辨率，宽高比最高可达 6:1。

通过 JSON 提示词实现高精度控制

Ideogram 4 专门针对结构化 JSON 标题进行训练，以最大限度地提高训练效率和落地性。虽然模型接受纯文本提示词，但 JSON 格式是实现最大可控性的原生接口。

布局与颜色控制

  • 边界框布局 (Bounding-Box Layout)： 用户可以在 JSON 提示词中指定 bbox 坐标，以显式地放置主体、文本元素和背景区域。
  • 颜色调色板调节 (Color Palette Conditioning)： 模型在风格描述中支持 colour_palette 数组（十六进制颜色），以引导生成图像的主导色调。
  • 构图解构： 通过使用边界框并结合每个元素的描述，实现精确的空间布局。

Magic Prompt 扩展

为了弥合普通用户与结构化 JSON 要求之间的差距，Ideogram 提供了“magic prompt”大语言模型。该工具在生成之前将纯文本提示词扩展为完整的结构化 JSON 标题，确保在无需用户手动编写 JSON 的情况下获得高质量结果。

性能基准测试

在多个第三方和内部基准测试中，Ideogram 4 被定位为面向设计生成的领先开源权重模型。

设计与排版

  • Design Arena： Ideogram 4 在 Design Arena Elo 排行榜上排名第一，仅次于 GPT 和 Gemini 的专有模型。
  • ContraLabs： 在专业设计师进行的盲测排版评估中，Ideogram 4 实现了 47.9% 的第一名胜率，显著领先于 Gemini 3.1 Flash Image Preview (30.0%) 和 FLUX.2 [max] (15.5%)。
  • 实际可用性： 专业设计师在实际客户工作中的 Ideogram 4 评分最高，为 3.55 / 5。

通用能力

  • LMArena： Ideogram 在整体图像生成实验室中排名第 5，是排名第一的开源权重实验室。
  • Open-Source Benchmarks： 在 7Bench 布局控制基准测试中，Ideogram 4 的表现优于所有闭源模型。与 Qwen-Image (20B)、FLUX.2 [dev] (32B) 和 HunyuanImage 3.0 (80B MoE) 等更大规模的模型相比，它也提供了更出色的文本渲染能力。

模型可用性与许可

Ideogram 4 在 Hugging Face 上提供两种量化格式：

  • nf4： 9.3B 参数，支持 CUDA，兼容 Diffusers。
  • fp8： 9.3B 参数，支持所有硬件。

两个版本均根据 Ideogram 4 Non-Commercial License 发布。

社区反馈

虽然技术能力受到了称赞，但在许可和安全过滤器方面，一些社区成员提出了疑虑。一位 Hacker News 用户指出：

非商业许可，你不应该称其为“开源权重”。词语是有意义的的。而且人们正在嘲笑该模型的审查程度。

快速入门指南

要本地使用该模型，用户必须在 Hugging Face 上接受受限许可并使用 hf auth login 进行身份验证。基础推理命令使用以下结构：

python run_inference.py \
  --prompt "a ginger cat wearing a tiny wizard hat reading a spellbook" \
  --output out.png \
  --quantization "nf4" \
  --magic-prompt-key "$IDEOGRAM_API_KEY"

为了获得最高质量，建议设置 --height 2048 --width 2048 和 --sampler-preset V4_QUALITY_48。

Sources