OliBomby/Mapperatorinator

What it solves

Mapperatorinator는 게임 osu!의 모든 게임 모드에 대해 고품질이며 순위에 오를 수 있는 비트맵을 자동으로 생성합니다. 오디오 입력을 기반으로 히트 오브젝트, 타이밍, 패턴을 생성해 수동 매핑 작업을 없애고, 기존 맵의 오류와 불일치를 식별하는 도구도 제공합니다.

How it works

이 프레임워크는 멀티 모델 접근 방식을 사용하며, 핵심은 수정된 Whisper 아키텍처(2.19억 파라미터)로 오디오의 Mel 스펙트로그램을 입력으로 받습니다. 비트맵을 토큰화된 이벤트 표현(시간과 위치를 양자화)으로 변환하고, 이 토큰들을 순차적으로 생성합니다. 긴 곡을 처리하기 위해 90% 겹치는 슬라이딩 윈도우 방식을 사용해 매끄러운 전환을 보장합니다. 더 높은 정밀도를 위해 확산 모델을 사용해 양자화된 좌표를 디노이즈하여 최종 위치로 변환하고, 가변 BPM을 처리하기 위해 "슈퍼 타이밍 제너레이터"가 여러 추론 패스를 평균합니다.

Who it’s for

• osu! 비트맵 제작자: 초기 매핑 과정을 자동화하거나 게스트 난이도를 생성하고 싶은 사람.
• 비트맵 모더: AI 기반 도구(MaiMod)를 사용해 리듬 오류, 타이밍 부정확, 불일치 배치를 찾고 싶은 사람.
• 개발자: 오디오‑투‑이벤트 생성 모델에 관심이 있는 사람.

Highlights

• 멀티 게임모드 지원: std, taiko, ctb, mania용 맵을 생성.
• MaiMod: "surprisal"(예상치 못한 패턴)을 감지해 잠재적인 매핑 오류를 표시하는 AI 모딩 도구.
• 높은 커스터마이징: 난이도(스타 레이팅), 매퍼 스타일(매퍼 ID 지정), 업로드 연도, 특정 스타일 설명자를 사용자가 지정 가능.
• 컨텍스트 인식 생성: 기존 타이밍이나 kiai 구역을 컨텍스트로 활용해 정확도와 속도를 향상.
• Web 및 CLI 인터페이스: 사용자 친화적인 Web GUI와 인터랙티브 CLI를 포함.