trymirai/uzu

解决的问题

uzu 是一个高性能推理引擎，旨在让开发者直接在其应用程序中部署 AI 模型。它消除了对本地模型使用外部 API 调用的需求，从而消除推理成本，确保完全的数据隐私，并消除网络延迟。

工作原理

它提供了一个高级 API，抽象了模型下载和推理配置的复杂性。该引擎支持多种语言（Rust、Python、Swift 和 TypeScript），并通过利用统一内存，针对 Apple 设备进行了优化。它支持本地模型执行，也支持通过统一接口与云模型（如 OpenAI）集成。

适用人群

希望在桌面或移动设备（特别是 iOS 和 macOS）上构建应用程序，并在不管理复杂基础设施的情况下集成本地 AI 功能的软件开发者。

主要亮点

• 多语言支持：提供 Rust、Python、Swift 和 TypeScript 的绑定。
• Apple Silicon 优化：特别利用 Apple 设备的统一内存。
• 统一 API：单一接口用于管理本地和云上 AI 模型。
• 自动管理：自动处理模型下载和配置。
• 可追溯计算：通过与源代码实现进行比对，确保计算的正确性。