john-rocky/coreai-model-zoo

Community model zoo for Apple Core AI (iOS/macOS 27): 49 models — LLM, VLM, OCR, ASR, TTS, image/video/music gen, forecasting — converted, verified on real devices, downloadable from Hugging Face, and runnable in one line of Swift via CoreAIKit. Plus conversion recipes, on-device benchmarks, custom Metal kernels, and a knowledge base.

解决的问题

在 Apple 设备 (iOS 和 macOS) 上运行大语言模型和其他 AI 模型通常需要复杂的转换过程。本仓库提供了一个已为 Apple Core AI 转换好的模型集中目录，以及用于创建这些模型的精确配方，确保开发人员可以轻松地将高性能的设备端 AI 集成到他们的应用程序中。

工作原理

本项目提供经过设备验证的可下载 .aimodel 文件。每个模型都包含一个 recipe.toml 文件，记录了所使用的精确转换过程。用户可以：

  • 使用 CoreAIKit Swift 包直接下载并运行模型。
  • 使用提供的 Python 转换脚本 (zoo_convert.py) 重新构建模型以确保可复现性。
  • 使用 zoo_verify.py 根据源模型验证包以确保完整性。

适用对象

  • 希望将离线设备端 AI（文本、视觉、音频或机器人）集成到其应用中的 iOS/macOS 开发人员。
  • 希望查看特定模型架构（如 MoE 或扩散模型）移植到 Apple 硬件后的表现的 AI 研究人员。
  • 需要为 Apple Core AI 生态系统提供可靠转换配方的机器学习工程师。

亮点

  • 多样化的模型支持：包括 LLM、视觉语言模型、语音转文本、文本转语音，甚至包括机器人/动作模型。
  • 可复现的转换：每个模型都附带一个可以重新运行以产生相同结果的配方。
  • 专注于设备端：针对在 iPhone 和 Mac 硬件上完全离线运行进行了优化。
  • 广泛的目录：涵盖了包括 Qwen、Gemma、Llama 以及 BitCPM (1.58-bit ternary LLM) 在内的多种架构。