ptnghia-j/ChordMiniApp

Music Analysis, Chord Recognition, Beat Tracking, Guitar Diagrams, Piano Visualizer, Lyrics Transcription Application, context-aware LLM inference for analysis from uploaded audio and YouTube video

What it solves

ChordMini는 오픈소스 음악 분석 도구로, 오디오에서 음악 구조를 추출하는 과정을 자동화하도록 설계되었습니다. 곡에서 코드를 수동으로 기록하고 비트와 멜로디를 전사하는 어려움을 해결하고, 기타 다이어그램 및 피아노 롤과 같은 시각적 도구를 뮤지션과 학습자에게 제공합니다.

How it works

이 애플리케이션은 머신러닝 모델과 외부 API를 결합해 오디오 파일이나 YouTube 영상을 분석합니다. Python 백엔드를 사용해 비트 감지(Madmom 및 Beat-Transformer 활용)와 코드 인식(Chord-CNN-LSTM 및 BTC 변형 활용)을 수행합니다. 고급 기능을 위해 Google Gemini API를 통합해 로마 숫자 분석 및 가사 번역을 제공하고, SongFormer를 사용해 곡 구간을 분할합니다. 실험적인 멜로디 전사는 별도의 Sheet Sage 서비스에서 처리됩니다.

Who it’s for

코드 진행, 비트 트래킹, 곡에 맞춰 연주할 수 있는 시각적 가이드를 빠르게 필요로 하는 뮤지션, 음악 학생, 프로듀서를 위해 설계되었습니다.

Highlights

  • Comprehensive Analysis: Performs chord recognition, beat tracking, and song segmentation (intro, verse, chorus, etc.).
  • Interactive Visualizers: Includes a real-time piano roll with MIDI export and interactive guitar chord diagrams.
  • AI-Assisted Lead Sheets: Combines synchronized lyrics with a Gemini-powered chatbot for contextual music analysis.
  • Multi-Source Input: Supports direct audio uploads and YouTube URL integration.
  • Experimental Melody Transcription: Can estimate melodic lines and render them as sheet music.