NEvo: ニューラルガイド進化的ビデオ合成
NEvo: ニューラルガイド進化的ビデオ合成
NEvoは進化的ビデオ合成を通じて特定の脳領域をターゲットにした活性化を実現
NEvo（Neural‑Guided Evolutionary Video Synthesis）は、人間の視覚皮質の特定領域を最大限に駆動するビデオを自動生成するシステムです。脳反応の「デジタルツイン」に基づいて AI 生成コンテンツを進化させることで、手作業で作成したローカライザクリップや自然映像よりも、特定の皮質領域を効果的に活性化する刺激を合成できます。
NEvo の技術的ワークフロー
NEvo は、予測モデリングと進化アルゴリズムを組み合わせたマルチステージプロセスで視覚刺激を最適化します。
1. デジタルツインの作成
プロセスは、エンコーディングモデル（「デジタルツイン」）の学習から始まります。このモデルは、任意のビデオに対して脳の特定視覚領域がどのように反応するかを予測するように訓練されます。この予測モデルが、以降の進化探索の報酬関数として機能します。
2. 進化的プロンプト最適化
NEvo はビデオの記述を遺伝子情報として扱います。各ビデオは「遺伝子」‑ 主題、照明、動き、ムード、その他の記述子‑ の集合で定義されます。システムはビデオのバッチを生成し、デジタルツインの予測でスコア付けし、次に進化演算子を適用します：最良のパフォーマーを保持し、交叉で混合し、変異で微調整します。複数世代にわたって、ターゲット脳領域の予測活性化が増加します。
3. 二段階合成
計算コスト削減のため、NEvo は合成を二つのフェーズに分けます：
- 静止画最適化: まず、ターゲット領域を最も強く駆動する単一の静止画を特定します。
- 動き最適化: 次に、二秒間のクリップにその画像をアニメーション化するための動きパラメータで二回目の探索を実行します。
視覚選択性と側方ストリームのマッピング
NEvo が合成したクリップは、さまざまな脳領域の既知の機能的嗜好と一致します。たとえば、システムは顔領域（Fusiform Face Area, FFA）向けに顔を、場所領域（Parahippocampal Place Area, PPA）向けに風景を、後部・前部上側頭溝（pSTS/aSTS）向けに社会的シーンを生成します。
「サーチライト」を V1 から aSTS へと皮質表面上でスライドさせることで、NEvo は視覚選択性の勾配をマッピングします。刺激は単純なパターンと動きから、複雑な人物・顔・社会的相互作用へと進化し、側方ストリームに沿って視覚がますます社会的かつ動的になる様子を示します。
パフォーマンスと検証
NEvo が生成したビデオは、自然映像や手作業で作成したローカライザクリップのいずれよりも一貫して高い活性化を引き起こします。さらに、システムはダイナミクスが重要であることを示しています。テストしたすべての領域で、動くビデオは同じビデオの凍結された最初のフレームよりも高い活性化をもたらしました。
抽象的な刺激（例：積み重ねた円盤）から開始しても、最適化プロセスは pSTS 用に顔のような相互作用キャラクターや、MT 領域用に純粋な動きを呼び起こすことができ、各脳領域の好む特徴を効果的に抽出します。
コミュニティの視点と倫理的懸念
NEvo に関する議論は、誤用の可能性や「超正規刺激」の創出に関する重大な懸念を浮き彫りにしています。
操作の可能性
批判者は、脳の「スイッチ」を外科的に叩く能力がソーシャルメディアプラットフォームによってハイパー中毒コンテンツを作り出すために悪用され得ると指摘しています。
"AI allows to generate the perfect video to surgically hit all the switches in the viewer's brain and turn it into a zombie hooked for days on on end."
科学的有用性 vs. 道徳的リスク
一部の利用者は、NEvo が実験者バイアスを減らすことを目的とした研究ツールであると強調する一方、他の利用者はこの技術が中毒性のファストフードや高エンゲージメント広告の進化を映し出すと指摘しています。
技術的懐疑
観測者の中には、"デジタルツイン"モデルの信頼性に懐疑的で、生成されたビデオが予測モデルと同様の活性化パターンを MRI 内の実際の人間で再現できるかどうか疑問視する声があります。
"My instinct is to be skeptical that it's possible to reliably create a video -> brain activation prediction model."
要約: NEvo は AI 生成ビデオを進化させて特定の脳領域を最大限に活性化するフレームワークであり、視覚選択性のマッピングや脳機能理解のためのツールを提供します。
タイトル: NEvo: ニューラルガイド進化的ビデオ合成