john-rocky/coreai-model-zoo

Community model zoo for Apple Core AI (iOS/macOS 27): 49 models — LLM, VLM, OCR, ASR, TTS, image/video/music gen, forecasting — converted, verified on real devices, downloadable from Hugging Face, and runnable in one line of Swift via CoreAIKit. Plus conversion recipes, on-device benchmarks, custom Metal kernels, and a knowledge base.

解決的問題

在 Apple 裝置 (iOS 與 macOS) 上執行大型語言模型和其他 AI 模型通常需要複雜的轉換過程。本儲存庫提供了一個已為 Apple Core AI 轉換好的模型集中目錄，以及用於建立這些模型的精確配方，確保開發人員可以輕鬆地將高性能的裝置端 AI 整合到他們的應用程式中。

工作原理

本專案提供經過裝置驗證的可下載 .aimodel 檔案。每個模型都包含一個 recipe.toml 檔案，記錄了所使用的精確轉換過程。使用者可以：

  • 使用 CoreAIKit Swift 套件直接下載並執行模型。
  • 使用提供的 Python 轉換指令碼 (zoo_convert.py) 重新建置模型以確保可復現性。
  • 使用 zoo_verify.py 根據原始模型驗證套件以確保完整性。

適用對象

  • 希望將離線裝置端 AI（文本、視覺、音訊或機器人）整合到其應用程式中的 iOS/macOS 開發人員。
  • 希望查看特定模型架構（如 MoE 或擴散模型）移植到 Apple 硬體後的表現的 AI 研究人員。
  • 需要為 Apple Core AI 生態系統提供可靠轉換配方的機器學習工程師。

亮點

  • 多樣化的模型支援：包括 LLM、視覺語言模型、語音轉文字、文字轉語音，甚至包括機器人/動作模型。
  • 可復現的轉換：每個模型都附帶一個可以重新執行以產生相同結果的配方。
  • 專注於裝置端：針對在 iPhone 與 Mac 硬體上完全離線執行進行了優化。
  • 廣泛的目錄：涵蓋了包括 Qwen、Gemma、Llama 以及 BitCPM (1.58-bit ternary LLM) 在內的多種架構。