ServeurpersoCom/acestep.cpp

解决的问题

提供一个高性能的本地服务器，用于根据文本描述生成 AI 音乐。用户可以在自己的硬件上创建 48kHz 立体声音频轨道，而无需依赖云服务，支持包括 CPU 和各种 GPU 在内的广泛硬件后端。

工作原理

该项目是基于 GGML 的原生 C++ 实现，作为 ACE-Step 1.5 模型的后端运行。它使用由语言模型 (LM) 生成歌词和音频代码、扩散 Transformer (DiT) 渲染这些代码以及变分自编码器 (VAE) 生成最终音频的流水线。系统包含一个用于轻松交互的基于浏览器的 WebUI，以及供高级用户将生成过程集成到其他应用程序中的 API。

适用对象

• 希望通过简单界面在本地生成 AI 音乐的音乐人和创作者
• 希望通过 REST API 集成音乐生成功能的开发人员
• 倾向于在多种硬件（NVIDIA、AMD、Intel 或 Apple Silicon）上运行模型的高级用户

亮点

• 广泛的硬件支持：可在 CPU、CUDA、Metal 和 Vulkan 上运行。
• 灵活的模型选项：支持多种 LM 尺寸（0.6B 至 4B）和各种 DiT 变体（用于提速的 turbo 或用于质量的 sft）。
• 本地控制：具备用于编写说明、设置歌词和下载曲目的浏览器 UI，实现完全本地运行。
• C++ 实现：使用 GGML 和 GGUF 模型格式进行性能优化。
• 高级功能：支持用于风格微调的 LoRA 适配器，以及从现有音频中提取元数据和歌词的反向流水线。