NEvo: Neural-Guided Evolutionary Video Synthesis

NEvo는 진화적 비디오 합성을 통해 목표 뇌 영역을 선택적으로 활성화합니다

NEvo (Neural-Guided Evolutionary Video Synthesis)는 인간 시각 뇌의 특정 영역을 최대한 활성화하는 비디오를 자동으로 생성하도록 설계된 시스템입니다. 뇌 반응의 "디지털 트윈"을 기반으로 AI 생성 콘텐츠를 진화시킴으로써, 이 시스템은 수작업으로 만든 로컬라이저 클립이나 자연 비디오보다 특정 피질 영역을 더 효과적으로 활성화하는 자극을 합성할 수 있습니다.

NEvo 기술 워크플로우

NEvo는 예측 모델링과 진화 알고리즘을 결합한 다단계 프로세스를 통해 시각 자극을 최적화합니다.

1. 디지털 트윈 만들기

이 과정은 "디지털 트윈"이라 불리는 인코딩 모델을 훈련시키는 것부터 시작합니다. 이 모델은 특정 시각 뇌 영역이 주어진 비디오에 어떻게 반응하는지를 예측하도록 학습됩니다. 이 예측 모델은 이후 진화 탐색을 위한 보상 함수 역할을 합니다.

2. 진화적 프롬프트 최적화

NEvo는 비디오 설명을 유전 물질로 취급합니다. 각 비디오는 주제, 조명, 움직임, 분위기 및 기타 설명자를 포함하는 일련의 "유전자"로 정의됩니다. 시스템은 비디오 배치를 생성하고, 디지털 트윈의 예측을 사용해 점수를 매긴 뒤, 진화 연산자를 적용합니다: 최우수자를 유지하고, 교배(크로스오버)하고, 변이(뮤테이션)를 도입합니다. 여러 세대에 걸쳐 목표 뇌 영역의 예측 활성화가 증가합니다.

3. 두 단계 합성

계산 비용을 줄이기 위해 NEvo는 합성을 두 단계로 나눕니다:

• 정지 이미지 최적화: 시스템은 먼저 목표 영역을 가장 강하게 자극할 수 있는 단일 정지 이미지를 찾습니다.
• 움직임 최적화: 그 다음 두 번째 탐색을 통해 움직임 파라미터를 조정하여 해당 이미지를 2초 클립으로 애니메이션화합니다.

시각 선택성 및 측면 스트림 매핑

NEvo가 합성한 클립은 다양한 뇌 영역의 알려진 기능적 선호와 일치합니다. 예를 들어, 시스템은 얼굴 영역(Fusiform Face Area, FFA)에는 얼굴을, 장소 영역(Parahippocampal Place Area, PPA)에는 장소를, 후측 및 전측 상측두구(pSTS/aSTS)에는 사회적 장면을 생성합니다.

"검색광(searchlight)"을 V1에서 aSTS 방향으로 피질 표면을 가로질러 이동시키면서, NEvo는 시각 선택성의 그라디언트를 매핑합니다. 자극은 단순한 패턴과 움직임에서 복잡한 사람, 얼굴, 사회적 상호작용으로 진화하며, 측면 스트림을 따라 시각이 점점 더 사회적이고 동적이 되는 과정을 보여줍니다.

성능 및 검증

NEvo가 생성한 비디오는 자연 비디오와 수작업 로컬라이저 클립보다 일관되게 높은 활성화를 유도합니다. 또한 시스템은 역동성이 핵심임을 입증했으며, 테스트된 모든 영역에서 움직이는 비디오가 정지된 첫 프레임보다 높은 활성화를 보였습니다.

추상적인 자극(예: 겹쳐진 원판)에서 시작하더라도, 최적화 과정은 pSTS를 위한 얼굴 같은 상호작용 캐릭터나 MT 영역을 위한 순수 움직임을 만들어내어 각 뇌 영역의 선호 특징을 효과적으로 분리합니다.

커뮤니티 관점 및 윤리적 우려

NEvo에 대한 논의는 남용 가능성과 "초정상 자극" 생성에 대한 중요한 우려를 부각시켰습니다.

조작 가능성

비평가들은 뇌의 "스위치"를 정밀하게 작동시킬 수 있는 능력이 소셜 미디어 플랫폼에 의해 과도하게 중독성 있는 콘텐츠를 만들기 위해 무기로 전락할 수 있다고 주장합니다.

"AI는 시청자의 뇌에 있는 모든 스위치를 정밀하게 작동시켜 며칠 동안 끊임없이 중독된 좀비처럼 만들 완벽한 비디오를 생성할 수 있게 합니다."

과학적 유용성 vs. 도덕적 위험

일부 사용자는 NEvo가 뇌 매핑에서 실험자의 편향을 줄이기 위한 연구 도구라고 강조하는 반면, 다른 사람들은 이 기술이 중독성 패스트푸드나 고참여 광고의 진화와 유사하다고 지적합니다.

기술적 회의론

일부 관찰자는 "디지털 트윈" 모델의 신뢰성에 회의적이며, 생성된 비디오가 예측 모델에서와 동일한 활성화 패턴을 실제 MRI 기계 안의 인간에게도 일으키는지 의문을 제기합니다.

"내 직관은 비디오 → 뇌 활성화 예측 모델을 신뢰성 있게 만드는 것이 가능하다는 것에 회의적이라는 것입니다."

---

SUMMARY: NEvo는 AI가 생성한 비디오를 진화시켜 특정 뇌 영역을 최대한 활성화하는 프레임워크로, 시각 선택성을 매핑하고 뇌 기능을 이해하는 도구를 제공합니다.

TITLE: NEvo: Neural-Guided Evolutionary Video Synthesis