ridgerchu/matmulfreellm

解決的問題

解決傳統語言模型中矩陣乘法（MatMul）帶來的高計算成本問題。透過消除矩陣乘法操作，此架構旨在提升效率，特別適用於神經形態硬體上的部署。

工作原理

本專案實現了一種語言模型架構，以更高效的運算取代標準的矩陣乘法，並在多個層中使用三值權重。該架構設計為與 Hugging Face Transformers 庫相容，可使用標準的 AutoModel 和 AutoModelForCausalLM API 輕鬆整合至現有的 AI 工作流程中。

適用對象

關注高效 AI 架構、神經形態計算的研究人員與開發者，以及希望降低大語言模型計算開銷的人群。

主要亮點

• 無矩陣乘法架構：完全消除對標準矩陣乘法操作的需求。
• Hugging Face 集成：與 Transformers 庫完全相容，便於初始化與文字生成。
• 可擴展性高效：與 Transformer++ 相比，顯示出更陡峭的擴展投影，表示隨著計算資源增加，性能提升更顯著。
• 預訓練模型：提供從 370M 到 2.7B 參數的模型庫，涵蓋多種規模。