gdstudio-org/Embeat

Content-based music recommendation system, training on Spotify 45M tracks & 1.8M playlists. (Spotify track ID / ISRC in, similar songs out)

解决的问题

Embeat 通过结合音频相似性(歌曲听起来如何)与协同过滤(用户实际喜欢的内容),解决了高质量音乐推荐的挑战。它特别旨在为各种语言和流派中的热门歌曲以及长尾小众歌曲提供稳定可靠的推荐。

工作原理

该系统采用多通道召回策略,基于种子歌曲生成推荐结果:

  1. 音频编码EmbeatMLP 模型将 Spotify 音频特征(如节奏、能量和情绪)编码为 64 维向量,以找到声音相似的歌曲。
  2. 协同过滤Track2Vec 模型(基于 Word2Vec Skip-Gram)分析数百万个播放列表,学习共现模式,识别公众倾向于一起组合的曲目。
  3. 流派整合:使用超过 6,000 个微流派标签,确保小众音乐得到准确处理。
  4. 多通道召回:从五个通道收集推荐结果:音频相似性、同流派流行度、同一艺术家、相似艺术家、播放列表协同过滤。这些结果随后去重并重新排序,生成最终输出。

适用人群

专为开发音乐发现应用的开发者,或对音频特征编码和音频内容协同过滤感兴趣的科研人员设计。

核心亮点

  • 混合方法:结合双塔 MLP 用于音频特征,以及 Skip-Gram 模型用于用户行为。
  • 高性能:在盲测 LLM 评估中,对 Netease Cloud Music 的胜率高达 84–95%。
  • 高效部署:支持低内存环境(如 2GB+ RAM 的 VPS),响应时间快(30–200ms)。
  • 丰富数据:包含 4500 万首歌曲的数据集,以及预构建的 Qdrant 向量数据库用于向量搜索。

相关

  • 项目
  • 项目
  • 项目
  • 项目