rzru/nightingale

Machine learning powered Karaoke app (with scores!)

解决的问题

Nightingale 让用户能将现有音乐库中的任何歌曲转换为卡拉OK曲目。它通过自动化分离人声与乐器，以及生成同步歌词，消除了对预制卡拉OK文件的需求。

运作方式

系统使用 Rust 核心和 React 前端，并利用由神经网络驱动的本地 Python 分析器。此分析器负责人声分离（通过 UVR Karaoke 或 Demucs）和歌词处理（通过自动转录、对齐或外部来源如 LRCLIB）。为确保性能，分析器以常驻进程运行以避免模型启动延迟，并使用 BLAKE3 哈希缓存结果。

适用对象

音乐爱好者和卡拉OK爱好者，希望从自己的本地音频/视频文件或连接的媒体服务器（如 Plex、Jellyfin 和 Navidrome）创建自定义卡拉OK曲目。

亮点

  • 神经人声分离：使用机器学习模型从歌曲中去除主唱。
  • 自动化歌词：支持自动转录和对齐，以生成逐字歌词。
  • 灵活媒体库集成：连接本地文件夹和热门媒体服务器。
  • 卡拉OK功能：包含音高评分、调性和速度调整，以及 2-4 人多人游戏支持。
  • 视觉自定义：通过 GPU 着色器、视频或图片提供动态背景。
  • 跨平台：提供原生桌面应用程序（Windows、macOS、Linux）或自托管 Web 应用程序。

相关

  • 项目
    xcLee001/SonicVale

    一个开源AI语音合成平台，可自动化小说和剧本的多角色、多情感语音合成。

  • 项目
    nomadkaraoke/python-audio-separator

    Audio Separator 是一个 Python 库/命令行工具，使用深度学习模型（MDX-Net、VR、Demucs、MDXC）将音乐文件分离为声乐、乐器、鼓等音轨。它支持 CPU、CUDA、Apple Silicon（MPS/CoreML）以及实验性的 DirectML，提供 Docker 镜像，并带有带筛选选项的模型目录。

  • 项目
    sergree/matchering

    一个开源的音频匹配与母带处理工具，通过匹配 RMS、频率响应和立体声宽度，使目标音轨听起来像参考音轨。

  • 项目
    mexicat/pdoom-video

    一个生成式、代码渲染的音乐视频系统，利用音频分析和three.js创建确定性的、单词同步的视觉效果，可导出4K60。

  • 项目
    ServeurpersoCom/acestep.cpp

    acestep.cpp 是一个基于 C++ 的本地服务器，可从文本提示生成 48kHz 立体声音乐。它使用 GGML 量化模型（LM、文本编码器、扩散 DiT、VAE），并在 CPU、CUDA、Vulkan 或 Metal 上运行。下载四个 GGUF 模型文件后，您构建二进制文件（仅 CPU、CUDA、Vulkan 或全能型）并启动服务器。位于 http://localhost:8085 的 Web UI 允许您编写标题、选择模型/LoRA 适配器，并生成、播放或下载曲目。服务器还提供小型 REST API（POST /lm、/synth、/understand、/vae）和用于脚本化的 CLI 工具。这是一个真正的开源 AI 音乐生成项目，而不是教程列表。