mpi4jax/mpi4jax
Zero-copy MPI communication of JAX arrays, for turbo-charged HPC applications in Python :zap:
해결하는 문제
JAX 프레임워크의 제한된 다중 호스트 기능을 해결하여 사용자가 JAX 기반 시뮬레이션을 전체 CPU 및 GPU 클러스터로 확장할 수 있도록 합니다.
작동 방식
JAX 배열의 제로 코피, 멀티호스트 통신을 가능하게 합니다. 이 기능은 JAX의 Just-in-Time (jit) 컴파일에 직접 통합되어 있어, jitted 코드 내에서 통신이 가능하며 GPU 메모리에서 직접 통신이 수행될 수 있습니다.
대상 사용자
다중 호스트 및 GPU를 사용하여 JAX로 확장이 필요한 과학 계산 워크로드를 수행하는 연구자 및 개발자입니다.
주요 특징
- JAX 배열의 제로 코피 통신.
- 고성능 실행을 위한
jax.jit호환성. - CPU 및 GPU 클러스터 전체에 걸친 멀티호스트 확장 지원.
- 특정 MPI 연산을 미분 가능 프로그래밍을 위해 미분 가능하도록 지원.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트