liebharc/homr

homr is an Optical Music Recognition (OMR) software designed to transform camera pictures of sheet music into machine-readable MusicXML format.

解决的问题

homr 是一个光学乐谱识别(OMR)工具,可将乐谱照片转换为机器可读的 MusicXML 文件。这使得用户能够将纸质乐谱导入 MuseScore 等数字乐谱软件进行编辑或播放。

工作原理

该软件使用四阶段处理流程来处理图像:

  1. 分割:基于 UNet 的模型识别谱线、音符头、符干、休止符、小节线和谱号等结构组件。
  2. 谱线检测:系统识别“谱线锚点”并计算单位尺寸,以重建谱线,处理视角变化,并合并相关谱线(例如钢琴用的双行谱)。
  3. 符号识别:经过去畸变的谱线图像由基于 Transformer 的模型处理,通过端到端序列识别确定节奏、音高和演奏记号。
  4. 导出:识别出的符号被转换为 MusicXML 文件。

适用人群

需要将纸质乐谱数字化并转换为与标准乐谱软件兼容格式的音乐家、作曲家和档案管理员。

主要亮点

  • 端到端流程:结合分割与基于 Transformer 的识别,实现高精度。
  • 视角校正:包含去畸变功能,可处理相机拍摄的乐谱照片。
  • 多模态支持:支持双行谱和单谱表上的多声部。
  • MusicXML 输出:生成与 MuseScore 等工具兼容的行业标准文件。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目