apple/corenet

解决的问题

CoreNet 是一个深度神经网络工具包，旨在简化标准与创新 AI 模型的训练过程。它为研究人员和工程师提供了一个统一的框架，用于构建和扩展各种任务的模型，从小型专用模型到大型基础模型（如 LLM 和 CLIP）皆可涵盖。

运作方式

该函数库围绕着基于注册表的系统进行组织，模型和数据集按任务（例如：分类、检测、语言建模）进行分类。用户可以使用 YAML 配置文件定义训练和评估流程，这些文件会引用特定的模型类别、数据集和优化器。它支持多节点训练，并与 MLX 集成，以便在 Apple Silicon 上进行高效执行。

适用对象

它主要针对需要以可重现方式跨不同模态（文本、图像、音频和视频）训练深度神经网络的 AI 研究人员和工程师。

特色亮点

• 广泛的任务支持：支持对象分类、对象检测、语义分割和语言建模。
• 即用型训练配方：包含众多 Apple 研究出版物（例如：OpenELM、CatLIP、FastVit）的可重现训练配方和预训练权重。
• 多模态能力：提供针对音频、视频和文本的专业数据加载器和编码器。
• Apple Silicon 优化：包含用于在 Mac 硬件上高效运行模型的 MLX 示例。