john-rocky/coreai-model-zoo

解决的问题

提供一系列预先转换的 AI 模型以及在 Apple Core AI 框架（iOS 27 / macOS 27）上运行它们所需的精确转换配方。这使得开发者无需手动处理从原始模型格式转换的复杂过程，即可轻松将高性能、离线的 AI 功能（如 LLM、视觉-语言模型、语音转文本等）集成到 Apple 应用中。

如何工作

该项目维护一个 .aimodel 包和对应 recipe.toml 文件的“动物园”。这些配方定义了转换所用的精确配置，任何人都可以使用 zoo_convert.py 重新构建模型包。为确保质量，项目使用了门控系统（coreai_gate.py），通过将转换后模型的输出与参考 fp32 模型进行比较，以证明其数值一致性。通过 CoreAIKit 库，开发者可仅用一行 Swift 代码即可完成模型的下载和运行，极大简化了集成流程。

适用人群

希望在设备上部署最先进开源 AI 模型，同时确保其针对 Apple 硬件优化的 Apple 平台开发者（iOS 和 macOS）。

主要亮点

• 多样模型支持：涵盖文本 LLM（Qwen、Gemma、LFM）、视觉-语言模型（VLM）、语音转文本（Whisper），以及安全分类器、机器人学等专用模型（BitVLA）。
• 验证的数值一致性：采用严格的门控流程，确保转换后的模型与原始源模型生成相同的 token。
• 高级优化：包含针对 1.58 位三值 LLM 的自定义 Metal 内核，以及用于 iPhone GPU 高速推理的混合位量化技术。
• 一键集成：与 CoreAIKit 配合，仅需少量代码即可完成模型下载、缓存和执行。