magnitudedev/magnitude

解決する課題

Magnitudeは、プリコンパイル済みカーネルから脱却することで、ローカルLLM推論のパフォーマンスギャップに対処します。広範なハードウェアクラスで動作する汎用カーネルを使用する代わりに、ユーザーのデバイス上の特定のチップに合わせてモデルの実行を最適化し、速度とメモリ効率を最大化します。

仕組み

Magnitudeは、モデルを実行する前にユーザーのハードウェア上で直接カーネルをコンパイルおよびチューニングする推論エンジンです。人気のあるオープンウェイトモデルファミリー向けに手動最適化されたカーネルを提供し、共有プレフィックスキャッシュを利用して同時セッション中の速度を維持します。統合CLIを備えたデスクトップアプリケーションとして提供されます。

対象ユーザー

macOS、Windows、またはLinux上でApple Silicon、NVIDIA、AMD GPU、またはCPUを使用してオープンウェイトモデルをローカルで実行したい開発者やユーザーで、これらのモデルをCline、Claude Code、Piなどの既存のAIエージェントと統合したい方。

主な特長

• ハードウェア固有のチューニング: デバイス上でカーネルをコンパイルおよびチューニングし、汎用エンジンよりも優れたパフォーマンスを実現。
• クロスプラットフォーム対応: Apple Silicon、NVIDIA、AMD、CPUのみの環境で動作。
• パフォーマンス向上: llama.cppよりも最大2倍高速であると主張し、具体的にはMetalで92%高速なデコード、CUDAで19%高速なデコードを挙げています。
• エージェント統合: さまざまなエージェントへのワンクリック接続と、その他のためのOpenAI互換API。
• リソース効率: エージェントあたりのメモリ使用量を27%削減し、エージェントが非アクティブなときはメモリを解放します。