Linum AI Pyramid-JiT 模型发布

概述

Linum AI 发布了 Pyramid-JiT (P-JiT)，这是一个实验性的文本生成图像模型，从零开始训练，成本约为 $21,000。该项目旨在验证实验室更宏大的目标，即开发高效、可控的生成式视频模型。通过绕过传统的变分自编码器 (VAEs) 并直接在像素空间中运行，团队实现了 32×32 的 token 缩减，显著降低了训练和推理对注意力上下文窗口的需求。

架构创新

P-JiT 的核心创新在于去除了 VAE。研究人员认为 VAE 会引入压缩的经验上限，并可能对下游生成产生负面影响。相反，该模型使用基于扩散的方法来学习专门为其特定用例构建的潜在空间。关键技术特性包括：

• 像素空间操作： 通过在像素空间中运行，模型允许扩散变换器 (DiT) 的每个块预测最终图像的版本，从而增强了早期网络块中的梯度信号。
• Pyramid-JiT 结构： 该架构采用了 32×32 的 token 缩减，用通常用于 256² 图像的 token 数量来表示 512² 图像，从而使注意力成本降低了 4 倍。
• 读出机制： 该模型利用 PixelREPA 读出机制将潜在空间与 DINOv3-L 特征对齐，并在主干上包含线性读出头以预测最终图像的低分辨率版本，从而加速收敛。
• 训练方案： 该模型在 6.6 亿个样本上使用基于课程的噪声调度进行了训练。它使用冻结的 Qwen3.5-4B 模型进行文本表示，并在 2D 块矩阵上采用 Muon 优化。

训练与性能

总成本 $21,038 涵盖了 8,415 小时的 H100 计算时间。训练分为两个阶段：512² 分辨率阶段（6.1 亿个样本）和随后的 1024² 分辨率阶段（5000 万个样本）。训练后使用有限差分流优化 (FDFO) 并结合人工反馈进行了微调。

虽然该模型展示了强大的图像生成能力，但开发人员指出了几个局限性：

• 文本生成： 该模型未在渲染文本（例如 PDF、信息图表）上进行训练，无法生成可读的文本或海报。
• 复杂场景： 由于其 2B 参数的大小，该模型在处理全身解剖结构、多人交互和复杂实体计数时偶尔会遇到困难。

社区见解

Hacker News 上的讨论强调了该模型的技术成就及其当前的局限性。评论者指出，虽然效率令人印象深刻，但模型仍然表现出常见的伪影，例如过度平滑和手部解剖错误。

关于放弃 VAE 的决定，一位用户评论道：

"抛弃 VAE 感觉违反直觉——我很震惊它竟然效果这么好！感谢你们在博客文章中分享训练心得！" — @handle

其他人指出，该模型的效率与大型实验室资源密集型的方法有显著不同。正如一位观察者所指出的：

"大型实验室如果有什么动机的话，那就是他们没有动力去制造高效的模型，因为目前对计算资源的访问是他们的护城河之一。中国实验室的情况并非如此，这就是为什么你看到突破性的效率工作大多来自中国。真的很高兴看到像你们这样的小型工作室在做这类工作！" — @handle

模型权重已根据 Apache 2.0 许可证发布，可在 Hugging Face 上获取。