OliBomby/Mapperatorinator

An AI framework for generating and modding osu! beatmaps for all gamemodes from spectrogram inputs.

What it solves

Mapperatorinator 自動化產生高品質、可排名的 osu! 譜面，支援所有遊戲模式。它透過音訊輸入生成擊打物件、節拍與圖案，省去手動製作譜面的繁瑣，同時提供工具來辨識現有譜面的錯誤與不一致之處。

How it works

此框架採用多模型方法，核心為修改過的 Whisper 架構（2.19 億參數），以音訊的 Mel 頻譜圖作為輸入。它將譜面轉換為代幣化的事件表示（量化時間與位置），並逐一產生這些代幣。為了處理長篇歌曲，使用 90% 重疊的滑動視窗方式以確保銜接順暢。為了提升精度，使用擴散模型將量化座標去噪成最終位置，並搭配「超時序產生器」透過多次推論取平均，以因應變化的 BPM。

Who it’s for

  • osu! 譜面創作者：想自動化初始製譜流程或產生客製難度。
  • 譜面模組製作者：想使用 AI 工具（MaiMod）找出節奏錯誤、時機不準或不一致的放置。
  • 開發者：對音訊到事件的生成模型感興趣。

Highlights

  • 多遊戲模式支援：可產生 std、taiko、ctb、mania 譜面。
  • MaiMod：AI 模組工具，偵測「驚訝度」（意外模式）以標記可能的譜面錯誤。
  • 高度可客製化：允許使用者指定難度（星級）、製譜者風格（透過製譜者 ID）、上傳年份與特定風格描述。
  • 情境感知生成：可使用既有的 timing 或 kiai 區段作為上下文，提升準確度與速度。
  • Web 與 CLI 介面：提供友善的 Web GUI 與可互動的 CLI 供設定使用。