MarioSieg/magnetron

해결하는 문제

Magnetron은 PyTorch와 같은 대규모 프레임워크의 부담을 피하면서도 실행 및 메모리에 대한 완전한 제어가 필요한 개발자를 위한 컴팩트한 머신러닝 런타임입니다. 실제 모델을 실행하고, 저수준 ML 시스템, 커널, 하드웨어 포트에 대해 실험할 수 있는 투명하고 수정 가능한 스택을 제공합니다.

작동 방식

네이티브 C 코어와 Python API를 기반으로 하며, Magnetron은 자체 텐서 시스템, 연산자 집합, 역전파 자동 미분 엔진을 구현합니다. 다중 디스패치 CPU 백엔드는 Intel, AMD, ARM 등의 마이크로아키텍처를 자동 감지하여 최적화된 SIMD 커널(SSE, AVX, AVX-512, NEON)을 선택합니다. 또한, 제로코피 메모리 매핑 모델 로딩을 가능하게 하는 커스텀 .mag 직렬화 포맷도 제공합니다.

대상 사용자

ML 스택 전체를 이해하고 싶은 연구자나 시스템 엔지니어, 새로운 실행 전략을 프로토타이핑하거나 특이한 하드웨어로 ML 워크로드를 이식하고자 하는 사람들을 위한 것입니다.

주요 특징

• 실용적인 성능: Qwen3을 BF16으로 실행할 수 있는 현대적인 LLM 추론을 지원합니다.
• 하드웨어 인식: CPUID 기반 감지로 아키텍처별 최적화 커널을 사용합니다.
• 제로코피 로딩: 메모리 매핑된 가중치로 대규모 모델의 빠른 시작이 가능합니다.
• 미니멀한 설계: Python 의존성 없이 네이티브 확장으로 구현되었습니다.
• 확장 가능한 백엔드: 모듈식 아키텍처로 새로운 하드웨어 타겟 추가가 쉬우며, 현재 CUDA 백엔드 개발 중입니다.