ridgerchu/matmulfreellm

解决的问题

解决传统语言模型中矩阵乘法（MatMul）带来的高计算成本问题。通过消除矩阵乘法操作，该架构旨在提高效率，尤其适用于在神经形态硬件上部署。

工作原理

该项目实现了一种语言模型架构，用更高效的运算替代标准的矩阵乘法，并在多个层中使用了三值权重。该架构设计为与 Hugging Face Transformers 库兼容，可使用标准的 AutoModel 和 AutoModelForCausalLM API 轻松集成到现有的 AI 工作流中。

适用人群

关注高效 AI 架构、神经形态计算的研究人员和开发者，以及希望降低大语言模型计算开销的人群。

主要亮点

• 无矩阵乘法架构：完全消除对标准矩阵乘法操作的需求。
• Hugging Face 集成：与 Transformers 库完全兼容，便于初始化和文本生成。
• 可扩展性高效：与 Transformer++ 相比，显示出更陡峭的扩展投影，表明随着计算资源增加，性能提升更显著。
• 预训练模型：提供从 370M 到 2.7B 参数的模型库，涵盖多种规模。