BlinkDL/RWKV-LM

解决的问题

RWKV 的设计旨在结合基于 Transformer 的大语言模型（LLM）的性能与循环神经网络（RNN）的效率。它消除了对 KV 缓存的需求，该缓存通常会消耗大量 VRAM 并随着上下文增长而减慢推理速度，从而在生成过程中实现恒定空间和线性时间复杂度。

工作原理

RWKV 是一种 100% 无注意力机制的 RNN 架构。它可以在训练时像 GPT 风格的 Transformer（GPT 模式）一样并行训练，但在推理时以 RNN 模式运行，仅需位置 $t$ 的隐藏状态即可计算位置 $t+1$ 的状态。最新版本 RWKV-7 "Goose" 作为一个元上下文学习者，在每个 token 处通过上下文内梯度下降更新其状态。

适用人群

该项目适用于需要高性能且计算高效的 LLM 的 AI 研究人员和开发者，特别是那些在 VRAM 有限的移动或桌面设备上部署模型，或需要“无限”上下文长度的用户。

主要亮点

• 线性时间与常数空间：无需 KV 缓存，无论序列长度如何，都能保证恒定的速度和 VRAM 使用量。
• 可并行训练：可像 Transformer 一样进行训练，实现高吞吐量。
• 高推理速度：能够实现极高的每秒令牌数（例如，在高端 GPU 上特定配置下可达到 10,000+ 令牌/秒）。
• LFAI 项目：Linux 基金会 AI 项目，完全免费且开源。
• 多模态支持：适用于文本 LLM 和多模态应用。