svsdval/video2midi

해결하는 문제

Synthesia 피아노 튜토리얼 영상은 가상 키보드 위에 떨어지는 음표를 보여주지만, 이는 편집하거나 음악으로 공유할 수 있는 형식이 아닙니다. 이 도구는 이러한 영상에서 키보드 활동을 자동으로 추출하여 MIDI 파일을 생성하므로, 음악을 재생하거나 재편곡하고, 학습 및 공유에 활용할 수 있습니다.

작동 방식

프로그램은 영상을 프레임 단위로 스캔합니다. 다운로드한 Synthesia 영상(720p 권장)을 불러온 다음, 그래픽 인터페이스에서 화면상의 키보드 위치와 키 색상을 영상에 맞게 조정합니다. Q 키를 누르면 자동 인식이 시작되며, 어느 순간에 어떤 키가 눌렸는지 추적하여 노트 온/오프 이벤트를 기록하고 MIDI 파일로 저장합니다. 또한 시작 및 종료 프레임을 설정하고, 키 위치에 따라 두 개의 채널로 강제 분할하거나 겹치는 음표를 처리할 수도 있습니다. 처리 후에는 내장된 노트 에디터를 사용하여 저장하기 전에 개별 음표를 미세 조정(이동, 크기 조절, 삭제, 분할)할 수 있습니다.

대상 사용자

음악가, 피아노 학습자 또는 Synthesia 스타일의 영상을 사용 가능한 MIDI 파일로 변환하려는 모든 분들을 위한 도구입니다. Python 스크립트를 실행하고 종속성(OpenCV, Pygame, MIDIUtil)을 설치해야 하므로 어느 정도의 기술적 이해도가 필요합니다. 취미 프로젝트이지만 기본적인 사용법에 대한 문서화가 잘 되어 있습니다.

주요 특징

• 가상 키보드를 프레임 단위로 스캔하여 키 입력 감지
• 키 위치, 색상 및 인식 옵션을 조정하기 위한 그래픽 인터페이스
• 키 색상에 따른 멀티 채널 MIDI 출력 (예: 양손이나 악기별로 별도의 채널 설정 가능)
• 내장 노트 에디터: 음표 이동, 크기 조절, 삭제, 분할 및 수동 추가 가능
• 모든 설정은 INI 파일에 저장되어 쉽게 반복 사용 가능
• Linux, Windows(Anaconda 사용), 웹 버전 및 Android 앱으로 제공
• GitHub discussions 및 링크된 비디오 튜토리얼을 통한 커뮤니티 지원