MarioSieg/magnetron

解決的問題

Magnetron 是為需要完全控制執行與記憶體，但又不願被 PyTorch 等大型框架的臃腫所困的開發者所設計的緊湊型機器學習執行環境。它提供一個透明且可修改的堆疊，可用於執行真實模型，並實驗低階 ML 系統、內核與硬體移植。

工作原理

基於原生 C 核心與 Python API，Magnetron 實作了自有的張量系統、運算子集合與反向模式自動微分引擎。它使用多分派 CPU 後端，可自動偵測微架構（Intel、AMD、ARM），並選擇最佳化的 SIMD 內核（SSE、AVX、AVX-512、NEON）。同時也具備自訂的 .mag 序列化格式，支援零複製、記憶體映射的模型載入。

適用對象

適合希望理解完整 ML 堆疊、原型化新執行策略，或將 ML 工作負載移植至非典型硬體的研究人員與系統工程師。

主要特色

• 實用性能：可執行現代 LLM 推理，例如 Qwen3 在 BF16 下的表現。
• 硬體感知：基於 CPUID 檢測實現架構特定的內核最佳化。
• 零複製載入：記憶體映射權重可實現大模型的快速啟動。
• 極簡設計：作為原生擴充模組，無需任何 Python 依賴。
• 可擴展後端：模組化架構簡化新增硬體目標的開發，目前 CUDA 後端正在開發中。