trymirai/uzu

解決的問題

uzu 是一個高性能推論引擎，旨在讓開發者直接在其應用程式中部署 AI 模型。它消除了對本地模型使用外部 API 呼叫的需求，從而消除推論成本，確保完全的資料隱私，並消除網路延遲。

工作原理

它提供一個高階 API，抽象化模型下載與推論設定的複雜性。該引擎支援多種語言（Rust、Python、Swift 與 TypeScript），並透過利用統一記憶體，針對 Apple 設備進行優化。它支援本地模型執行，也支援透過統一介面與雲端模型（如 OpenAI）整合。

適用對象

希望在桌面或行動裝置（特別是 iOS 與 macOS）上建構應用程式，並在不管理複雜基礎設施的情況下整合本地 AI 功能的軟體開發者。

主要亮點

• 多語言支援：提供 Rust、Python、Swift 與 TypeScript 的綁定。
• Apple Silicon 優化：特別利用 Apple 設備的統一記憶體。
• 統一 API：單一介面用於管理本地與雲端 AI 模型。
• 自動管理：自動處理模型下載與設定。
• 可追溯計算：透過與原始實作比對，確保計算的正確性。