trymirai/uzu

uzuは、開発者がAIモデルをアプリ内で直接（デバイス上で）実行できるようにする高性能な推論エンジンです。クラウドとの通信は不要です。ゼロレイテンシ、完全なデータプライバシー、推論コストゼロを目指して構築されており、Rust、Python、Swift、TypeScriptに対応しています。

主な機能：

• モデル（例： alibaba:qwen3.5:0.8b:mirai:mirai-m:4）をダウンロードし、ローカルでチャットセッションを実行します。
• シンプルで高レベルなAPIを提供：Engineの作成、モデルの取得とダウンロード、ChatSessionの開始、メッセージの送信が可能です。
• ストリーミング返信、ツール呼び出し、構造化出力、および代替としてのクラウドモデル（例：OpenAI API経由のGPT‑5）をサポートしています。
• Appleデバイスのユニファイドメモリを活用し、効率的なモデル読み込みを実現します。
• 計算の追跡が可能で、リファレンス実装との整合性を検証できます。

仕組み（例から）：

1. EngineConfigとEngineを作成します。
2. 識別子でモデルを検索し、進捗状況を確認しながらダウンロードします。
3. チャットセッションを開始し、ChatMessageのリスト（システム、ユーザーなど）を送信して返信を受け取ります（一括またはストリーミング）。
4. 同じセッションを複数のリクエストで再利用し、RAM管理のために一度に読み込むモデルを1つに制限します。

対象ユーザー： プライベートで高速なオフラインAIを必要とするアプリ（特にiOS/macOS）を開発するエンジニア。チャットボット、アシスタント、またはローカル推論が必要なあらゆる機能に適しています。MITライセンスで公開されており、活発にメンテナンスされ、多言語バインディングとAPIドキュメントが整備されています。