rzru/nightingale
Machine learning powered Karaoke app (with scores!)
해결하는 문제
Nightingale을 사용하면 기존 음악 라이브러리의 모든 노래를 노래방 트랙으로 변환할 수 있습니다. 보컬과 악기 분리 및 동기화된 가사 생성을 자동화하여 사전 제작된 노래방 파일의 필요성을 제거합니다.
작동 방식
시스템은 Rust 기반 코어와 React 프론트엔드를 사용하며, 신경망을 활용한 로컬 Python 분석기를 이용합니다. 이 분석기는 보컬 분리(UVR Karaoke 또는 Demucs를 통해)와 가사 처리(자동 전사, 정렬 또는 LRCLIB와 같은 외부 소스를 통해)를 담당합니다. 성능을 보장하기 위해 분석기는 모델 시작 지연을 피하기 위해 상주 프로세스로 실행되며, 결과는 BLAKE3 해시를 사용하여 캐시됩니다.
대상 사용자
자신의 로컬 오디오/비디오 파일이나 Plex, Jellyfin, Navidrome과 같은 연결된 미디어 서버에서 맞춤형 노래방 트랙을 만들고 싶은 음악 애호가와 노래방 매니아.
주요 기능
- 신경 보컬 분리: 기계 학습 모델을 사용하여 노래에서 리드 보컬을 제거합니다.
- 자동 가사: 단어 단위 가사를 위한 자동 전사 및 정렬을 지원합니다.
- 유연한 라이브러리 통합: 로컬 폴더 및 인기 미디어 서버에 연결합니다.
- 노래방 기능: 피치 점수, 키 및 템포 조정, 2-4인용 멀티플레이어 지원을 포함합니다.
- 시각적 사용자 지정: GPU 셰이더, 비디오 또는 이미지를 통한 동적 배경을 제공합니다.
- 크로스 플랫폼: 네이티브 데스크톱 앱(Windows, macOS, Linux) 또는 자체 호스팅 웹 앱으로 제공됩니다.
관련
- 프로젝트
- 프로젝트
nomadkaraoke/python-audio-separatorAudio Separator는 딥러닝 모델(MDX-Net, VR, Demucs, MDXC)을 사용하여 음악 파일을 보컬, 반주, 드럼 등과 같은 스템으로 분리하는 Python 라이브러리/CLI입니다. CPU, CUDA, Apple Silicon(MPS/CoreML), 실험적 DirectML을 지원하며, Docker 이미지를 제공하고 필터링 옵션이 있는 모델 카탈로그를 제공합니다.
- 프로젝트
sergree/matcheringRMS, 주파수 응답, 스테레오 폭을 일치시켜 대상 오디오 트랙을 참조 트랙처럼 들리게 만드는 오픈 소스 오디오 매칭 및 마스터링 도구입니다.
- 프로젝트
mexicat/pdoom-video오디오 분석과 three.js를 사용하여 결정적이고 단어 동기화된 비주얼을 4K60으로 내보낼 수 있는 절차적 코드 기반 뮤직 비디오 시스템.
- 프로젝트
ServeurpersoCom/acestep.cppacestep.cpp는 텍스트 프롬프트에서 48kHz 스테레오 음악을 생성하는 C++ 기반 로컬 서버입니다. GGML 양자화 모델(LM, 텍스트 인코더, 확산 DiT, VAE)을 사용하며 CPU, CUDA, Vulkan 또는 Metal에서 실행됩니다. 4개의 GGUF 모델 파일을 다운로드한 후 바이너리(CPU 전용, CUDA, Vulkan 또는 올인원)를 빌드하고 서버를 시작합니다. http://localhost:8085의 웹 UI에서 캡션을 작성하고 모델/LoRA 어댑터를 선택한 다음 트랙을 생성, 재생 또는 다운로드할 수 있습니다. 서버는 또한 작은 REST API(POST /lm, /synth, /understand, /vae)와 스크립팅용 CLI 도구를 제공합니다. 튜토리얼 목록이 아닌 진정한 오픈 소스 AI 음악 생성 프로젝트입니다.