jacbz/Lofi

ML-supported lo-fi music generator

해결하는 문제

코드 진행과 멜로디와 같은 음악적 요소를 수학적 벡터로 표현함으로써, 다양한 사운드를 생성할 수 있도록 조작 가능한 방법을 제공합니다.

작동 방식

본 프로젝트는 PyTorch로 구축된 변분 오토인코더(VAE) 모델을 사용하며, Spotify 및 Hooktheory의 데이터셋으로 학습되었습니다. 이 모델은 lo-fi 트랙을 100개의 특징 벡터로 압축합니다. Flask 서버에서 모델을 호스팅하고, TypeScript 웹 클라이언트는 Tone.js를 사용하여 이러한 특징 벡터를 음성으로 다시 변환합니다.

대상 사용자

AI 생성 음악과 기계학습 및 오디오 합성의 교차점에 관심 있는 음악가, 개발자, 애호가.

주요 특징

  • 음악을 100개 특징 벡터로 표현하는 VAE 사용.
  • 브라우저에서 실시간 오디오 생성을 위한 Tone.js 통합.
  • Docker를 통해 사용자 정의 모델 학습 및 배포 지원.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트