神经元细胞自动机：从细胞到像素
通过隐式解码实现高分辨率神经元细胞自动机
研究人员来自 EPFL 和 Google Research 已经克服了神经元细胞自动机（NCAs）的分辨率限制，方法是将粗网格 NCA 与轻量级隐式解码器配对。这种混合方法使 NCAs 能够实时渲染任意分辨率的输出，同时保持细胞自动机特有的自组织和再生特性。
克服标准 NCAs 的局限性
传统的神经元细胞自动机是一种受生物启发的动力系统，相同的细胞应用学习到的局部更新规则，自组织形成复杂图案。虽然在纹理合成和形态发生方面取得了成功，但由于以下三个主要因素，它们历来只能生成低分辨率输出：
- 计算规模：随着网格尺寸的增大，训练时间和内存需求呈二次方增长。
- 信息传播：细胞通信的严格局部性阻碍了长距离信息在网格中的传播。
- 推理开销：高分辨率实时推理需要大量计算资源。
混合架构：NCA 与 LPPN
为了解决这些瓶颈，研究人员提出了一条将系统仿真与外观渲染分离的流水线。
粗糙 NCA 网格
不在高分辨率像素网格上操作，NCA 在粗糙的细胞格子上演化。该格子可应用于多种领域，包括 2D 网格、3D 网格以及网格的顶点（MeshNCA）。
局部模式生成网络（LPPN）
一种隐式解码器，称为局部模式生成网络（Local Pattern Producing Network，LPPN），将细胞状态和局部坐标映射到外观属性。过程如下：
- 采样：在一个基元（例如网格中的三角形）内确定一个采样点。
- 插值：系统通过插值周围 NCA 细胞的状态，计算出局部平均的细胞状态。
- 解码：LPPN——一个共享的轻量级多层感知机（MLP）——接收插值后的细胞状态和点的局部坐标作为输入，输出目标属性，如颜色和表面法线。
由于 NCA 更新和 LPPN 解码器都是局部的，整个推理过程保持高度并行化。
应用与性能
该混合模型在多个领域展示了效果，包括 2D、3D 网格以及网格域。关键成果包括：
- 实时渲染：模型能够实时生成高分辨率输出。
- 形态发生与纹理合成：研究人员引入了任务特定的损失函数，以高效监督从种子（形态发生）和纹理合成的生长，并且内存开销极小。
- 网格集成： “MeshNCA” 实现能够在复杂的 3D 网格上生成 PBR（基于物理的渲染）纹理，包括木材、熔岩和风格化毛皮等材质。
社区洞察与观察
技术社区的讨论突出了交互实现的潜力与当前局限性：
- 稳定性与鲁棒性：部分用户指出，过度使用画笔工具会破坏已稳定的图像，表明系统虽具再生能力，但存在稳定性阈值。
- 概念比较：有观察者将其机制比作迭代纹理采样，指出神经网络实际上“记住”了足够的信息，仅凭局部规则即可重建图像。
- 未来潜力：社区成员建议，自组织 NCAs 的原理未来可能超越图像领域，应用于自愈基础设施或在系统部分失效时能够再生的集群。
“这样的玩具示例可能预示着自愈机器的出现，就像最早的感知器预示着 Fable 和裸露深度伪造一样。”