MarioSieg/magnetron

解决的问题

Magnetron 是一个专为需要完全控制执行和内存，但又不想被 PyTorch 等大型框架臃肿所困扰的开发者设计的紧凑型机器学习运行时。它提供了一个透明且可修改的栈，用于运行真实模型，并实验低层级的 ML 系统、内核和硬件移植。

工作原理

基于原生 C 核心和 Python API，Magnetron 实现了自有的张量系统、操作符集合和反向模式自动微分引擎。它使用多分派 CPU 后端，可自动检测微架构（Intel、AMD、ARM），并选择优化的 SIMD 内核（SSE、AVX、AVX-512、NEON）。它还具备自定义的 .mag 序列化格式，支持零拷贝、内存映射的模型加载。

适用人群

适用于希望理解完整 ML 栈、原型化新执行策略，或将 ML 工作负载移植到非典型硬件的研究人员和系统工程师。

主要亮点

• 实用性能：可运行现代 LLM 推理，例如 Qwen3 在 BF16 下的表现。
• 硬件感知：基于 CPUID 检测实现架构特定的内核优化。
• 零拷贝加载：内存映射权重实现大模型的快速启动。
• 极简设计：作为原生扩展，无需任何 Python 依赖项。
• 可扩展后端：模块化架构简化了新增硬件目标的开发，目前 CUDA 后端正在开发中。