liebharc/homr

해결하는 문제

homr는 사진으로 촬영한 악보를 기계로 읽을 수 있는 MusicXML 파일로 변환하는 광학 악보 인식(OMR) 도구입니다. 이를 통해 사용자는 물리적 악보를 MuseScore와 같은 디지털 악보 소프트웨어로 가져와 편집하거나 재생할 수 있습니다.

작동 방식

이 소프트웨어는 이미지를 처리하기 위한 4단계 파이프라인을 사용합니다:

1. 세그멘테이션: UNet 기반 모델이 스태프 라인, 음표 머리, 줄기, 쉼표, 소절선, 케프 등 구조적 요소를 식별합니다.
2. 스태프 탐지: 시스템은 "스태프 앵커"를 식별하고 단위 크기를 계산하여 스태프 라인을 재구성하며, 시점 변화를 처리하고 관련된 스태프(예: 피아노용 그랜드 스태프)를 병합합니다.
3. 기호 인식: 왜곡을 보정한 스태프 이미지가 트랜스포머 기반 모델에 의해 처리되어 리듬, 음높이, 표현 기호를 엔드투엔드 시퀀스 인식으로 결정합니다.
4. 내보내기: 인식된 기호들이 MusicXML 파일로 변환됩니다.

대상 사용자

물리적 악보를 표준 음악 표기 소프트웨어와 호환되는 형식으로 디지털화해야 하는 음악가, 작곡가, 아카이브 담당자.

주요 특징

• 엔드투엔드 파이프라인: 세그멘테이션과 트랜스포머 기반 인식을 결합하여 높은 정확도를 제공합니다.
• 시점 보정: 카메라로 촬영한 악보를 처리하기 위한 왜곡 보정 기능을 포함합니다.
• 다중 모달 지원: 그랜드 스태프와 하나의 스태프에 여러 음성(보이스)을 처리할 수 있습니다.
• MusicXML 출력: MuseScore와 같은 도구와 호환되는 산업 표준 파일을 생성합니다.