liebharc/homr

何を解決するか

homr は、楽譜の写真を機械可読な MusicXML ファイルに変換する光学楽譜認識（OMR）ツールです。これにより、ユーザーは物理的な楽譜を MuseScore などのデジタル楽譜ソフトウェアにインポートして編集や再生が可能になります。

動作方法

このソフトウェアは、画像処理のための4段階パイプラインを使用しています：

1. セグメンテーション：UNetベースのモデルが、譜線、音符頭、茎、休符、小節線、 clef（鍵記号）などの構造的要素を識別します。
2. 譜線検出：システムは「譜線アンカー」を特定し、ユニットサイズを計算して譜線を再構成します。視点の変化に対応し、関連する譜線（例：ピアノ用のグランドスコア）を統合します。
3. 記号認識：デワープされた譜線画像は、トランスフォーマーに基づくモデルによって処理され、リズム、音高、アーティキュレーションマークをエンドツーエンドのシーケンス認識で決定します。
4. エクスポート：認識された記号は MusicXML ファイルに変換されます。

対象ユーザー

物理的な楽譜を標準的な楽譜ソフトウェアと互換性のある形式にデジタル化したい音楽家、作曲家、アーカイブ担当者。

特徴

• エンドツーエンドのパイプライン：セグメンテーションとトランスフォーマーに基づく認識を統合し、高い精度を実現。
• 視点補正：カメラで撮影された楽譜に対応するデワープ処理を内蔵。
• マルチモーダル対応：グランドスコアや1つの譜線に複数の声部を扱える。
• MusicXML出力：MuseScore などのツールと互換性のある業界標準フォーマットを出力。