apple/coreai-models

Model export recipes, Python primitives, and Swift runtime utilities for on-device AI

解決的問題

本專案提供一個全面的工具組,用於在 Apple silicon(macOS 與 iOS)上部署開源 AI 模型。它簡化了將 Hugging Face 等來源的熱門模型轉換為與 Apple Core AI 框架相容格式的流程,同時提供必要的執行時工具,以便將其整合至應用程式中。

工作原理

該工具組分為四個主要元件:

  • 模型匯出: 提供將 PyTorch 模型轉換為獨立 .aimodel 檔案的配方。
  • Python 原語: 提供開發者在 PyTorch 中撰寫自訂 Core AI 模型的建構模組。
  • 執行時工具: 一個 Swift 套件,協助開發者將這些匯出的模型整合並執行於 iOS 與 macOS 應用中。
  • 代理技能: 為程式碼代理(如 Claude Code、Codex CLI 與 Gemini CLI)提供外掛程式,提供在 Apple 平台上部署、撰寫與壓縮模型的專業指導。

適用對象

需要將現有開源模型轉換,或建立針對 Apple silicon 優化之自訂模型的 Apple 平台本地 AI 應用開發者。

主要亮點

  • 精選模型目錄: 包含支援模型的註冊表,附帶特定的匯出配方。
  • 本機執行: 專為 macOS 與 iOS 27.0+ 設計。
  • 模型壓縮: 透過 coreai-opt 探索權重壓縮、量化與調色板化工具。
  • 程式碼代理整合: 專用外掛程式協助 AI 程式碼助手自動化部署工作流程。

相關

  • 專案
  • Dispatch
  • 專案
  • 專案
  • 專案