NEvo: Neural-Guided Evolutionary Video Synthesis

NEvo 通过进化视频合成实现定向脑区激活

NEvo (Neural-Guided Evolutionary Video Synthesis) 是一个旨在自动生成能够最大限度驱动人类视觉大脑目标区域的视频系统。通过基于大脑反应的“数字孪生”来进化 AI 生成的内容，该系统可以合成比手工制作的定位器片段或自然视频更有效地激活特定皮层区域的刺激物。

NEvo 技术工作流程

NEvo 通过结合预测模型与进化算法来优化视觉刺激的多阶段过程运行。

1. 创建数字孪生

该过程始于编码模型的训练，该模型被称为“数字孪生”。该模型经过训练，用于预测大脑特定的视觉区域如何对任何给定的视频做出反应。该预测模型作为后续进化搜索的奖励函数。

2. 进化提示词优化

NEvo 将视频描述视为遗传物质。每个视频由一组“基因”定义——包括主体、光照、运动、情绪和其他描述符。系统生成一批视频，使用数字孪生的预测结果对其进行评分，然后应用进化算子：保留表现最好的，将它们混合（交叉），并引入微调（变异）。经过多代进化，目标脑区的预测激活度会不断增加。

3. 两阶段合成

为了降低计算成本，NEvo 将合成分为两个阶段：

• 静态图像优化： 系统首先识别出能够驱动目标区域的最强单张静态图像。
• 运动优化： 系统随后在运动参数上进行第二次搜索，将该图像动画化为一段两秒钟的片段。

映射视觉选择性与侧向流

NEvo 合成的片段与已知的大脑各区域的功能偏好一致。例如，系统为梭形脸部区域 (FFA) 生成脸部，为旁海马位置区域 (PPA) 生成场景，为后部和前部颞上沟 (pSTS/aSTS) 生成社交场景。

通过将“搜索灯”从 V1 向 aSTS 方向在皮层表面滑动，NEvo 映射出视觉选择性的梯度。刺激物从简单的模式和运动进化为复杂的人、脸部和社交互动，展示了视觉如何沿着侧向流变得越来越具有社交性和动态性。

性能与验证

NEvo 生成的视频比自然视频和手工制作的定位器片段都能持续驱动更高的激活度。此外，系统证明了动态性至关重要；对于每个测试区域，运动视频比其自身的冻结首帧产生的激活度更高。

即使从抽象刺激物（如堆叠的圆盘）开始，优化过程也可以为 pSTS 召唤出类脸部的互动角色，或为 MT 区域召唤出纯粹的运动，从而有效地隔离每个脑区的偏好特征。

社区观点与伦理担忧

围绕 NEvo 的讨论突出了关于潜在滥用和创造“超常刺激”的重大担忧。

潜在的操纵性

批评者认为，能够手术式地击中大脑中的“开关”的能力可能会被社交媒体平台武器化，以创造超成瘾性的内容。

"AI 允许生成完美的视频，手术式地击中观众的大脑开关，将其变成一个连续几天都无法自拔的僵尸。"

科学实用性 vs. 道德风险

虽然一些用户强调 NEvo 是一个旨在减少大脑映射中实验者偏差的研究工具，但其他人则认为，这项技术反映了成瘾性快餐或高参与度广告的进化过程。

技术怀疑论

一些观察者对“数字孪生”模型的可靠性表示怀疑，质疑生成的视频是否真的能在 MRI 机内的真实人类中产生与预测模型中相同的激活模式。

"我的直觉是，怀疑是否可能可靠地创建一个视频 -> 大脑激活预测模型。"