tschnz/Live-Video-Magnification

해결하고자 하는 문제

LiViM은 혈류(맥박)나 미세 진동처럼 인간의 눈으로는 보이지 않는 비디오의 미세한 움직임과 색 변화를 증폭합니다. 사용자는 웹캠의 실시간 스트림이나 녹화된 비디오 파일에서 이러한 변화를 실시간으로 감지할 수 있습니다.

작동 원리

이 프로젝트는 MIT CSAIL 연구를 기반으로 한 오일러 비디오 확대 기술을 구현합니다. 비디오 프레임을 처리하기 위해 세 가지 별도 알고리즘을 사용합니다:

• Motion (Laplace): 라플라시안 피라미드와 시간 영역 IIR 밴드패스 필터를 사용해 움직임을 증폭합니다.
• Motion (Phase): Riesz 피라미드와 버터워스 밴드패스 필터를 사용해 노이즈를 줄이면서 움직임을 증폭합니다.
• Motion (Color): 가우시안 피라미드와 FFT 밴드패스 필터를 롤링 윈도우에 적용해 색 변화를 증폭합니다.

성능 유지를 위해 소프트웨어는 CPU와 GPU( WebGPU 를 통해) 파이프라인을 모두 제공하며, 최신 디바이스에서는 GPU 엔진이 200배 이상 빠르게 동작합니다.

대상 사용자

신호 처리와 움직임 증폭에 관심이 있는 연구자, 비디오그래퍼, 취미 개발자를 위한 도구로, 비디오 영상에서 미세한 물리적 변화를 분석하고자 하는 사람들에게 적합합니다.

주요 특징

• 실시간 처리: GPU 가속을 통해 실시간 웹캠 캡처와 비디오 파일 재생을 지원합니다.
• 유연한 비교 뷰: 처리된 영상, 원본, 좌우 또는 상하 동기화 뷰를 제공합니다.
• 헤드리스 모드: GUI 없이 처리된 비디오를 내보낼 수 있는 CLI 도구.
• 맞춤형 파라미터: 증폭 강도, 주파수 대역, 공간 컷오프를 세밀하게 제어.
• 멀티 플랫폼 지원: Windows, Linux, macOS용 사전 빌드 패키지를 제공합니다.