john-rocky/coreai-model-zoo

解決的問題

提供一系列預先轉換的 AI 模型以及在 Apple Core AI 框架（iOS 27 / macOS 27）上執行它們所需的精確轉換配方。這讓開發者無需手動處理從原始模型格式轉換的複雜過程，即可輕鬆將高效率、離線的 AI 功能（如 LLM、視覺-語言模型、語音轉文字等）整合至 Apple 應用中。

如何運作

本專案維護一個 .aimodel 套件與對應的 recipe.toml 檔案的「動物園」。這些配方定義了轉換所使用的精確設定，任何人都可使用 zoo_convert.py 重新建構模型套件。為確保品質，專案使用門控系統（coreai_gate.py），透過將轉換後模型的輸出與參考的 fp32 模型進行比對，以證明其數值一致性。透過 CoreAIKit 套件，開發者僅需一行 Swift 程式碼即可完成模型下載與執行，大幅簡化整合流程。

適用對象

希望在設備上部署最尖端開源 AI 模型，同時確保其針對 Apple 硬體最佳化的 Apple 平台開發者（iOS 與 macOS）。

主要亮點

• 多樣模型支援：涵蓋文字 LLM（Qwen、Gemma、LFM）、視覺-語言模型（VLM）、語音轉文字（Whisper），以及安全分類器、機器人學等專用模型（BitVLA）。
• 驗證的數值一致性：採用嚴謹的門控流程，確保轉換後模型與原始來源模型產生相同的 token。
• 高階優化：包含針對 1.58 位三值 LLM 的自訂 Metal 內核，以及用於 iPhone GPU 高速推論的混合位元量化技術。
• 一鍵整合：與 CoreAIKit 配合，僅需少量程式碼即可完成模型下載、快取與執行。