BlinkDL/RWKV-LM

RWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be directly trained like a GPT transformer (parallelizable). We are at RWKV-7 "Goose". So it's combining the best of RNN and transformer - great performance, linear time, constant space (no kv-cache), fast training, infinite ctx_len, and free sentence embedding.

它解决了什么问题

RWKV 旨在结合基于 Transformer 的大型语言模型 (LLM) 的高性能与循环神经网络 (RNN) 的效率。它消除了对 KV-cache 的需求，在推理过程中提供线性时间复杂度和恒定空间内存使用量，从而解决了与传统注意力机制相关的 VRAM 和速度瓶颈。

运作原理

RWKV 是一种 100% 无注意力的 RNN 架构。它可以像 GPT 风格的 Transformer 一样并行训练 (GPT 模式)，但在推理时作为标准 RNN 运作 (RNN 模式)，仅需当前 token 的隐藏状态即可计算下一个 token。最新版本 RWKV-7 "Goose" 作为一种元上下文学习器 (meta-in-context learner)，在每个 token 处使用上下文梯度下降来更新其状态。

适用对象

此项目适合希望以显著降低内存开销部署 LLM、实现更快推理速度，并处理潜在“无限”上下文长度而无需注意力机制二次缩放成本的 AI 研究人员与开发者。

特点

线性时间与恒定空间：无需 KV-cache，确保无论序列长度如何，速度和 VRAM 使用量均保持恒定。
可并行化训练：可以像 Transformer 一样进行训练，在 GPU 上实现高效率。
元上下文学习 (Meta-In-Context Learning)：RWKV-7 利用测试时训练 (test-time training) 来根据上下文更新其状态。
高效率：支持极快的解码速度 (例如：在 RTX 5090 上，7.2B 模型在高 batch size 下可达 10,000+ tokens/s)。
开源：一个完全免费的 Linux Foundation AI 项目。