mlcommons/ck

Collective Knowledge (CK), Collective Mind (CM/CMX) and MLPerf automations: community-driven projects to learn how to run AI, ML, and other emerging workloads more efficiently and cost-effectively across diverse models, datasets, software, and hardware using MLPerf methodology and benchmarks.

解决的问题

Collective Knowledge (CK) 提供了一种使 AI 和 ML 研究更具可复现性和高效性的方法。它解决了在不同硬件、软件和数据集上运行复杂 ML 工作负载的难题，这些难题通常使得实验设置难以重用或复现。

工作原理

该项目由多个组件组成，可将软件项目转换为带有相关元数据的可移植构件（如代码、数据和模型）的基于文件的存储库。这些构件被链接在一起，形成技术无关的自动化工作流。

核心组件包括：

Collective Mind (CM/CMX)：一个自动化框架，提供统一的命令行界面和 Python API 来管理这些构件和工作流。
MLOps and MLPerf automations：一套用于组合、运行和优化 ML 应用程序的可移植自动化配方，专门用于帮助 MLPerf 基准测试的模块化和自动化。
Collective Knowledge Playground：一个用于索引自动化、比较 MLPerf 基准测试结果并组织优化挑战的平台。

适用对象

需要在各种平台上高效运行 AI/ML 工作负载，并支持开放科学和可复现研究的研究人员、开发人员和社区成员。

亮点

技术无关性：适用于各种模型、数据集、软件和硬件。
C-Make 风格的自动化：通过 Python 自动化和 JSON/YAML 元数据扩展了 cmake 的概念。
FAIR 原则：旨在支持 FAIR（可发现、可访问、可互操作和可重用）数据原则。
广泛的操作系统支持：原生运行于 Ubuntu、MacOS、Windows、RHEL、Debian 和 Amazon Linux。