jacbz/Lofi

ML-supported lo-fi music generator

何を解決するか

音楽的な要素(コード進行やメロディなど)を数学的なベクトルとして表現することで、異なる音色を生成できるように操作可能な方法を提供します。

動作方法

本プロジェクトは、PyTorchで構築された変分自己符号化器(VAE)モデルを使用しており、SpotifyおよびHooktheoryのデータセットで学習されています。このモデルは、lo-fiトラックを100次元の特徴ベクトルに圧縮します。Flaskサーバーでモデルをホストし、TypeScriptのWebクライアントはTone.jsを用いてこれらの特徴ベクトルを音声に変換します。

対象ユーザー

AI生成音楽や機械学習と音声合成の交差点に興味を持つミュージシャン、開発者、趣味の音楽家。

特徴

  • 音楽を100次元の特徴ベクトルとして表現するVAEを使用。
  • ブラウザ上でリアルタイム音声生成を実現するTone.jsを統合。
  • Dockerを介してカスタムモデルのトレーニングとデプロイをサポート。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト