AgnostiqHQ/covalent

Pythonic tool for orchestrating machine-learning/high performance/quantum-computing workflows in heterogeneous compute environments.

解決的問題

Covalent 簡化了在多樣環境中執行計算密集型 AI、ML 與科學研究程式碼的流程。它消除了開發者手動管理複雜雲端控制台、Terraform 或基礎設施即程式碼(IaC)腳本的需求,讓開發者無需更改核心業務邏輯,即可將程式碼部署至任何雲端或在地叢集。

工作原理

Covalent 作為 Python 程式碼與底層基礎設施之間的抽象層。透過使用特定的執行器外掛,使用者僅需變更一行程式碼(裝飾器),即可在不同執行環境之間切換(例如從本機切換至 AWS、GCP、Azure 或 SLURM 叢集)。這實際上將現有基礎設施轉換為類似無伺服器的設定,使函式可被分派至遠端資源。

適用對象

  • AI/ML 實務者與開發者:建構 LLM、生成式 AI 應用及其他高運算任務的人,需要一個與雲端無關的後端。
  • 研究人員:使用 HPC 叢集(如 SLURM、PBS、LSF)的科學家,希望從筆電執行實驗,而無需 SSH 或複雜腳本。

主要特色

  • 雲端無關執行:可無縫切換不同雲端供應商與在地叢集。
  • 基礎設施抽象:保持業務程式碼與資源定義的獨立性。
  • 無伺服器轉換:將在地 SLURM 叢集或雲端運算轉換為無伺服器基礎設施。
  • 可觀測性:內建使用者友善的 UI,用於即時監控工作。
  • 豐富的外掛生態系:支援 AWS、Azure、GCP、Kubernetes、SLURM、Dask 與 IBMQ。

相關

  • 專案
  • 專案
  • 專案
  • 專案