bacalhau-project/bacalhau

해결하는 문제

Bacalhau는 대규모 데이터셋을 네트워크를 통해 이동하여 처리하는 비효율성과 높은 비용을 해결합니다. 중앙 집중형 컴퓨팅 클러스터로 데이터를 이동하는 대신, "데이터 위에서 계산"(CoD) 방식을 채택하여 데이터가 존재하는 위치에서 작업을 실행함으로써 지연 시간을 줄이고, 이그레스 비용을 제거하며 데이터 주권을 유지합니다.

작동 방식

Bacalhau는 클라이언트, 오케스트레이터, 또는 컴퓨팅 노드로 작동할 수 있는 단일 바이너리로 구성된 분산 오케스트레이션 프레임워크를 사용합니다. 오케스트레이터는 작업 스케줄링을 조정하고, 컴퓨팅 노드는 Docker 또는 WebAssembly와 같은 엔진을 사용하여 작업을 실행합니다. S3, IPFS, HTTP/HTTPS, 로컬 스토리지와 같은 다양한 스토리지 제공업체와 통합되어 데이터를 현지에서 검색하고 처리할 수 있으며, 사용자는 YAML을 통해 선언적으로 또는 CLI를 통해 명령적으로 작업을 제출할 수 있습니다.

대상 사용자

대규모 데이터(페타바이트 단위)를 분산 환경에서 관리하는 조직 및 개발자에게 적합합니다. 분산 기계 학습, 로그 처리, 엣지 컴퓨팅, 또는 보호된 데이터셋을 기반으로 한 조직 간 계산을 수행하는 경우에 적합합니다.

주요 특징

• 데이터 위에서 계산: 데이터가 생성된 위치에서 작업을 처리하여 이동을 최소화합니다.
• 단일 바이너리: 클라이언트, 오케스트레이터, 노드 역할을 통합하여 설치 및 확장이 간편합니다.
• 유연한 실행: Docker 및 WebAssembly와 같은 다양한 엔진을 지원합니다.
• 광범위한 스토리지 지원: S3, IPFS, 로컬 스토리지와 통합 가능합니다.
• 데이터 주권: 원시 데이터 노출 없이 보안 경계 내에서 민감한 데이터를 처리할 수 있습니다.