john-rocky/coreai-model-zoo

何を解決するか

AppleのCore AIフレームワーク（iOS 27 / macOS 27）上で実行するために事前に変換されたAIモデルと、必要な正確なレシピを提供します。これにより、開発者は元のモデル形式から複雑な変換プロセスを手動で行う必要なく、高性能でオフラインのAI機能（LLM、視覚言語モデル、音声認識など）をAppleアプリに簡単に統合できます。

仕組み

このプロジェクトは、.aimodelバンドルと対応するrecipe.tomlファイルの「ゾウ」を維持しています。これらのレシピは変換に使用された正確な設定を定義しており、誰でもzoo_convert.pyを使ってモデルバンドルを再構築できます。品質を保証するために、プロジェクトはcoreai_gate.pyというゲーティングシステムを使用し、変換後のモデルの出力が参照用のfp32モデルと数値的に一致することを検証しています。CoreAIKitライブラリにより、1行のSwiftコードでモデルのダウンロードと実行が可能になります。

対象ユーザー

Appleプラットフォーム（iOSおよびmacOS）の開発者で、最新のオープンソースAIモデルをデバイス上で実行したいが、Appleハードウェアに最適化されていることを保証したい方。

特徴

• 多様なモデル対応：テキストLLM（Qwen、Gemma、LFM）、視覚言語モデル（VLM）、音声認識（Whisper）、セーフティ分類器やロボティクス（BitVLA）など特殊なモデルを含む。
• 検証済みの同一性：変換後のモデルが元のソースモデルと同じトークンを出力することを厳密なゲーティングプロセスで保証。
• 高度な最適化：1.58ビットの三値LLM用のカスタムMetalカーネルと、iPhone GPU上で高速推論を実現する混合ビット量子化を採用。
• ワンライン統合：CoreAIKitと連携し、モデルのダウンロード、キャッシュ、実行を最小限のコードで処理。