magnitudedev/magnitude

解決的問題

Magnitude 消除了執行本地 AI 模型時的猜測。使用者不再需要手動搜尋相容的模型大小、量化層級與效能預估，Magnitude 會自動分析使用者的硬體，推薦並執行最適合的模型。

工作原理

系統會分析機器的晶片、記憶體與頻寬，建議具有預估每秒詞元數的模型。它作為一個開源推論伺服器，可下載、調校並執行模型（包含 Hugging Face 的 GGUF 模型）。透過針對硬體量身打造的預測性解碼與併發設定來優化效能。為管理資源，模型會在請求時即時載入，並在系統閒置或記憶體不足時卸載。

適用對象

希望無需深入了解硬體相容性技術知識，即可獲得完全私密、離線且免費的本地推論環境的 AI 代理開發者或使用者。

主要亮點

• 硬體感知推薦： 自動分析硬體，推薦最佳模型與預估速度。
• 代理優化： 專為代理工作負載調校，支援動態模型載入與卸載。
• 隱私優先： 完全離線運作；所有提示、檔案與模型皆保留在本地機器上。
• 廣泛相容： 支援多種工具鏈，如 Pi、OpenCode、Hermes 與 Cline。
• 一鍵安裝： 透過 CLI 實現簡化的安裝與設定。