MarioSieg/magnetron

何を解決するか

Magnetron は、PyTorch のような大規模フレームワークの冗長さを避けつつ、実行とメモリの完全な制御が必要な開発者向けに設計されたコンパクトな機械学習ランタイムです。本物のモデルを実行し、低レベルの ML システム、カーネル、ハードウェア移植について実験できる、透明性があり改造可能なスタックを提供します。

動作方法

ネイティブ C コアと Python API を備えた構造で、Magnetron は独自のテンソルシステム、演算子セット、逆モード自動微分エンジンを実装しています。マルチディスパッチ CPU バックエンドは、Intel、AMD、ARM などのマイクロアーキテクチャを自動検出することで、最適化された SIMD カーネル（SSE、AVX、AVX-512、NEON）を選択します。また、ゼロコピー、メモリマップされたモデル読み込みを可能にするカスタム .mag シリアル化フォーマットも搭載しています。

対象ユーザー

ML スタック全体を理解したい研究者やシステムエンジニア、新しい実行戦略のプロトタイピング、あるいは非標準ハードウェアへの ML ワークロード移植を検討している人向けです。

特徴

• 実用的なパフォーマンス：Qwen3 を BF16 で実行できる現代的な LLM 推論に対応。
• ハードウェア対応：CPUID を用いたアーキテクチャ固有のカーネル最適化。
• ゼロコピー読み込み：メモリマップされた重みにより、大規模モデルの高速起動を実現。
• ミニマルな設計：Python 依存性を一切必要としないネイティブ拡張。
• 拡張可能なバックエンド：モジュールアーキテクチャにより、新しいハードウェアターゲットの追加が容易。現在 CUDA バックエンドの開発中。