AgnostiqHQ/covalent

Pythonic tool for orchestrating machine-learning/high performance/quantum-computing workflows in heterogeneous compute environments.

해결하는 문제

Covalent은 다양한 환경에서 계산 집약적인 AI, ML 및 과학 연구 코드를 실행하는 과정을 단순화합니다. 개발자가 복잡한 클라우드 콘솔, Terraform, 또는 인프라스트럭처로서의 코드(IaC) 스크립트를 수동으로 관리할 필요 없이, 핵심 비즈니스 로직을 변경하지 않고도 어떤 클라우드 또는 온프레미스 클러스터에도 코드를 배포할 수 있습니다.

작동 방식

Covalent은 Python 코드와 하위 인프라스트럭처 사이의 추상화 계층으로 작동합니다. 특정 실행자 플러그인을 사용하면, 단일 코드 라인(데코레이터)을 변경함으로써 실행 환경(예: 로컬 머신에서 AWS, GCP, Azure 또는 SLURM 클러스터로)을 전환할 수 있습니다. 이는 기존 인프라를 서버리스와 유사한 환경으로 변환하여, 함수를 원격 리소스에 디스패치할 수 있게 합니다.

대상 사용자

  • AI/ML 실무자 및 개발자: LLM, 생성형 AI 애플리케이션 및 기타 고계산 작업을 구축하는 사람으로, 클라우드에 의존하지 않는 백엔드가 필요한 사람.
  • 연구자: HPC 클러스터(SLURM, PBS, LSF 등)를 사용하는 과학자로, SSH나 복잡한 스크립트 없이 노트북에서 실험을 실행하고 싶은 사람.

주요 특징

  • 클라우드 독립적 실행: 다양한 클라우드 제공업체와 온프레미스 클러스터 간을 원활하게 전환 가능.
  • 인프라스트럭처 추상화: 비즈니스 코드를 리소스 정의로부터 독립시킵니다.
  • 서버리스 전환: 온프레미스 SLURM 클러스터나 클라우드 컴퓨팅을 서버리스 인프라스트럭처로 변환.
  • 관찰 가능성: 작업의 실시간 모니터링을 위한 사용자 친화적인 UI 포함.
  • 풍부한 플러그인 생태계: AWS, Azure, GCP, Kubernetes, SLURM, Dask, IBMQ를 지원.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트