ridgerchu/matmulfreellm

何を解決するか

従来の言語モデルにおける行列積（MatMul）の高い計算コストに対処します。MatMul演算を排除することで、特に神経形態ハードウェアへのデプロイにおいてより効率的なアーキテクチャを目指しています。

動作方法

このプロジェクトは、標準的な行列積をより効率的な演算に置き換える言語モデルアーキテクチャを実装しています。複数のレイヤーで三値重み（ternary weights）を利用しています。Hugging Face Transformersライブラリと互換性があり、標準の AutoModel および AutoModelForCausalLM API を使って既存のAIワークフローに統合できます。

対象ユーザー

効率的なAIアーキテクチャ、神経形態コンピューティングに注力する研究者や開発者、また大規模言語モデルの計算オーバーヘッドを削減したい人向けです。

主な特徴

• 行列積不要アーキテクチャ: 標準的な行列積演算の必要性を完全に排除しています。
• Hugging Face統合: Transformersライブラリと完全互換で、初期化やテキスト生成が容易です。
• スケーリング効率: Transformer++と比較して、計算リソースが増加するにつれてより急峻なスケーリングプロジェクションを示しており、性能向上が期待されます。
• 事前学習済みモデル: 370Mから2.7Bパラメータまでのサイズのモデルズーを提供しています。