apple/coreai-models
Model export recipes, Python primitives, and Swift runtime utilities for on-device AI
解决的问题
该项目提供了必要的工具,以弥合在 PyTorch 中训练 AI 模型与在 Apple 芯片设备上高效部署模型之间的鸿沟。它简化了使用 Core AI 框架在 macOS 和 iOS 上转换、优化和运行模型的过程。
工作原理
它提供了一个三部分组成的生态系统:
- Export Recipes: 将流行的开源模型(如来自 Hugging Face 的模型)转换为
.aimodel格式的脚本。 - Python Primitives: 供开发者使用 PyTorch 编写与 Apple 硬件兼容的自定义模型的构建块。
- Swift Runtime: 一个允许开发者将这些导出的模型直接集成到其基于 Swift 的应用程序中的包。
此外,它还包括“Skills”——即用于编码智能体(如 Claude Code 或 Codex)的插件,可为模型编写、压缩和部署工作流提供专家指导。
适用人群
该项目适用于希望使用 PyTorch 模型为 Apple 平台构建高性能端侧 AI 应用程序的开发者和机器学习工程师。
亮点
- Model Catalog: 包含适用于各种开源模型的现成导出方案。
- Agentic Skills: 提供编码智能体插件,帮助自动化模型编写和压缩任务。
- Native Integration: 包含一个 Swift 包,用于在 macOS 和 iOS 上实现无缝运行时执行。
- Optimization Tools: 提供用于探索权重压缩、量化和调色板化的实用程序,以确保模型在设备上高效运行。
相关
- 项目
- 项目
- Dispatch
- 项目
- 项目