使用 JEPAs 证明并改进柏拉图式表征假设

柏拉图式表征定理

柏拉图式表征假设 (PRH) 认为，随着规模的扩大，在不同模态上训练的 AI 模型会趋向于一种共享的、通用的现实表征。最近的研究 (arXiv:2610.39302) 将这一假设提升为定理，证明了当联合嵌入预测架构 (JEPAs) 被提供共享底层场景的“良好视图”时，它们会学习到相同的表征（仅相差一个线性旋转）。这一结果为跨模态对齐提供了理论保证，而无需仅仅依赖大规模扩展。

良好视图与下一个词预测

表征学习的效率在很大程度上取决于训练数据的性质。作者将“良好视图”定义为同一场景的两个不同观测值，这使得 JEPAs 的学习效率比标准的下一个词预测模型高出 42 倍。在此框架下，下一个词预测被描述为一种使用“不良视图”（单个文档的碎片化部分）的 JEPA，这解释了为什么语言模型需要更大的规模才能实现与视觉模态的对齐，而基于 JEPA 的方法则不需要。

实证验证与缩放定律

在从 14.5 万条标题到 9.4 亿张网络图像的数据集上进行的验证揭示了一种可预测的对齐缩放定律。一个 1.09 亿参数的文本 JEPA 在与 DINOv2 和 CLIP 图像编码器对齐方面表现优于参数量高达 720 亿的语言模型。此外，研究人员表明，通过对这些独立训练的编码器应用单一旋转，他们可以构建一个功能性的图像标题生成器，在 COCO 上实现了 .838 的 CIDEr 分数，且无需配对的训练数据。

社区观点与讨论

围绕该论文的讨论既强调了对 JEPAs 效率的兴奋，也表达了对证明范围的怀疑。一些观察者认为，自回归下一个词预测的成功可能是其能够摄取非结构化网络数据的产物，这引发了关于“良好视图”是否能够扩展到人类知识的同等广度的质疑。

"下一个词预测的部分魔力在于它能够从非结构化的网络语料库中提取智能。JEPA 能否构建类似规模的‘良好视图’训练集？" — @theptip

其他人指出了混合架构的潜力，建议未来的研究可以探索将 JEPA 头与传统 LLM 头相结合的 "franken-MoE" 模型，以利用两种范式的优势。关于“世界内核”的具体数学定义以及对模态特定干扰的处理，技术问题依然存在，一些研究人员建议层理论 (sheaf theory) 可能为理解不同模态如何粘合为一致的现实表征提供一个有用的框架。