mlcommons/ck

Collective Knowledge (CK), Collective Mind (CM/CMX) and MLPerf automations: community-driven projects to learn how to run AI, ML, and other emerging workloads more efficiently and cost-effectively across diverse models, datasets, software, and hardware using MLPerf methodology and benchmarks.

解決する課題

Collective Knowledge (CK) は、AI および ML 研究の再現性と効率性を高める方法を提供します。これは、異なるハードウェア、ソフトウェア、データセットにわたって複雑な ML ワークロードを実行する際の困難さ、つまり実験設定の再利用や再現を困難にしている問題に対処します。

仕組み

このプロジェクトは、ソフトウェアプロジェクトを、関連するメタデータを持つポータブルなアーティファクト（コード、データ、モデルなど）のファイルベースのリポジトリに変換するいくつかのコンポーネントで構成されています。これらのアーティファクトは、テクノロジーに依存しない自動化ワークフローとして連鎖されます。

主なコンポーネントは以下の通りです：

Collective Mind (CM/CMX): これらのアーティファクトとワークフローを管理するための、統一されたコマンドラインインターフェースと Python API を提供する自動化フレームワーク。
MLOps and MLPerf automations: ML アプリケーションを構成、実行、最適化するために使用されるポータブルな自動化レシピのコレクション。特に MLPerf ベンチマークのモジュール化と自動化を支援します。
Collective Knowledge Playground: 自動化をインデックス化し、MLPerf ベンチマーク結果を比較し、最適化チャレンジを整理するためのプラットフォーム。

対象者

多様なプラットフォームで AI/ML ワークロードを効率的に実行する必要があり、オープンサイエンスと再現可能な研究をサポートしたい研究者、開発者、およびコミュニティメンバー。

ハイライト

テクノロジーに依存しない: 多様なモデル、データセット、ソフトウェア、ハードウェアで動作します。
C-Make スタイルの自動化: Python による自動化と JSON/YAML メタデータを使用して cmake の概念を拡張します。
FAIR 原則: FAIR (Findable, Accessible, Interoperable, and Reusable) データ原則をサポートするように設計されています。
幅広い OS サポート: Ubuntu、MacOS、Windows、RHEL、Debian、Amazon Linux 上でネイティブに動作します。