mlcommons/ck

Collective Knowledge (CK), Collective Mind (CM/CMX) and MLPerf automations: community-driven projects to learn how to run AI, ML, and other emerging workloads more efficiently and cost-effectively across diverse models, datasets, software, and hardware using MLPerf methodology and benchmarks.

解決的問題

Collective Knowledge (CK) 提供了一種使 AI 和 ML 研究更具可復現性和高效性的方法。它解決了在不同硬體、軟體和數據集上執行複雜 ML 工作負載的難題，這些難題通常使得實驗設定難以重用或復現。

工作原理

該專案由多個組件組成，可將軟體專案轉換為帶有相關元數據的可移植構件（如程式碼、數據和模型）的基於檔案的儲存庫。這些構件被鏈接在一起，形成技術無關的自動化工作流。

核心組件包括：

Collective Mind (CM/CMX)：一個自動化框架，提供統一的命令列介面和 Python API 來管理這些構件和工作流。
MLOps and MLPerf automations：一套用於組合、執行和優化 ML 應用程式的可移植自動化配方，專門用於幫助 MLPerf 基準測試的模組化和自動化。
Collective Knowledge Playground：一個用於索引自動化、比較 MLPerf 基準測試結果並組織優化挑戰的平台。

適用對象

需要在各種平台上高效執行 AI/ML 工作負載，並支持開放科學和可復現研究的研究人員、開發人員和社群成員。

亮點

技術無關性：適用於各種模型、數據集、軟體和硬體。
C-Make 風格的自動化：透過 Python 自動化和 JSON/YAML 元數據擴展了 cmake 的概念。
FAIR 原則：旨在支持 FAIR（可發現、可存取、可互操作和可重用）數據原則。
廣泛的作業系統支援：原生執行於 Ubuntu、MacOS、Windows、RHEL、Debian 和 Amazon Linux。