liebharc/homr

解決的問題

homr 是一個光學樂譜辨識（OMR）工具，可將樂譜照片轉換為機器可讀的 MusicXML 檔案。這讓使用者能將實體樂譜導入 MuseScore 等數位樂譜軟體進行編輯或播放。

工作原理

該軟體使用四階段處理流程來處理影像：

1. 分割：基於 UNet 的模型識別譜線、音符頭、符幹、休止符、小節線和譜號等結構元件。
2. 譜線檢測：系統識別「譜線錨點」並計算單位尺寸，以重建譜線，處理視角變化，並合併相關譜線（例如鋼琴用的雙行譜）。
3. 符號辨識：經過去畸變的譜線影像由基於 Transformer 的模型處理，透過端對端序列辨識確定節奏、音高和演奏記號。
4. 匯出：辨識出的符號被轉換為 MusicXML 檔案。

適用對象

需要將實體樂譜數位化並轉換為與標準樂譜軟體相容格式的音樂家、作曲家與檔案管理員。

主要亮點

• 端對端流程：結合分割與基於 Transformer 的辨識，實現高準確度。
• 視角校正：內建去畸變功能，可處理相機拍攝的樂譜照片。
• 多模態支援：支援雙行譜與單譜表上的多聲部。
• MusicXML 匯出：產生與 MuseScore 等工具相容的業界標準檔案。