magnitudedev/magnitude

何を解決するか

Magnitudeは、ローカルAIモデルを実行する際の試行錯誤を解消します。ユーザーが手動で互換性のあるモデルサイズ、量子化レベル、パフォーマンス見積もりを探し出す必要がなくなります。Magnitudeは自動的にユーザーのハードウェアをプロファイリングし、最適なモデルを推薦・実行します。

動作方法

システムはマシンのチップ、メモリ、帯域幅をプロファイリングし、1秒あたりのトークン数を推定したモデルを提案します。オープンソースの推論サーバーとして機能し、Hugging FaceのGGUFモデルを含むモデルのダウンロード、チューニング、実行を行います。スペキュラティブデコードと並列処理設定をハードウェアに合わせて最適化し、パフォーマンスを向上させます。リソース管理のため、モデルはリクエスト時に即時ロードされ、システムがアイドル状態またはメモリが不足した場合にアンロードされます。

対象ユーザー

AIエージェントの開発または利用を希望する開発者で、ハードウェア互換性に関する深い技術的知識が不要な、完全にプライベートでオフライン、かつ無料のローカル推論環境を求める人。

主な特徴

• ハードウェアに最適化された推薦: ハードウェアを自動プロファイリングし、最適なモデルと推定速度を提案。
• エージェント最適化: ダイナミックなモデルのロード・アンロードに対応し、エージェントワークロードに特化。
• プライバシー最優先: すべての処理をオフラインで実行。すべてのプロンプト、ファイル、モデルはローカルマシン上に保持。
• 広範な互換性: Pi、OpenCode、Hermes、Clineなどのさまざまなハーネスに対応。
• ワンコマンドセットアップ: CLIによる簡易なインストールと設定。