llnl/Umpire
An application-focused API for memory management on NUMA & GPU architectures
해결하는 문제
Umpire는 GPU 및 NUMA(비균일 메모리 접근) 시스템과 같은 여러 메모리 장치를 사용하는 복잡한 하드웨어 아키텍처에서 메모리 관리를 다룹니다.
작동 방식
이 라이브러리는 다양한 하드웨어 장치 간에 메모리 리소스를 탐지하고, 할당하며, 관리할 수 있도록 해주는 리소스 관리 라이브러리입니다.
대상 사용자
계층적이고 이질적인 메모리 장치 간에 효율적으로 메모리를 조율해야 하는 고성능 컴퓨팅 애플리케이션을 개발하는 개발자들입니다.
주요 특징
- 여러 메모리 장치에 대한 리소스 관리.
- NUMA 및 GPU 메모리 지원.
- 메모리 리소스의 탐지 및 할당.
관련
- 프로젝트
rapidsai/rmmNVIDIA RMM (RAPIDS Memory Manager)은 유연하고 고성능인 GPU 메모리 할당을 제공하는 C++/Python 라이브러리입니다. 다양한 할당 전략(plain, pooled, managed, binning), 스트림 순서 할당, 장치별 기본 리소스, 그리고 간편한 CMake/Python 통합을 제공하여 GPU 중심 워크로드에서 `cudaMalloc`/`cudaFree` 반복 호출로 인한 오버헤드를 방지합니다.
- 프로젝트
nv-legate/cupynumericLegate 프레임워크 위에 NumPy API를 구현하여, 복수의 GPU와 노드에 걸쳐 NumPy 워크플로우를 확장하는 고성능 배열 계산 라이브러리입니다.
- 프로젝트
anderskm/gputilnvidia-smi를 사용하여 NVIDIA GPU 상태를 모니터링하고 메모리 및 부하 기반으로 사용 가능한 GPU를 프로그래밍 방식으로 선택하는 파이썬 모듈
- 프로젝트
- 프로젝트
Project-HAMi/HAMi-core애플리케이션 또는 드라이버를 수정하지 않고 컨테이너 내 CUDA 호출을 가로채어 각 컨테이너의 메모리 및 계산 활용도 제한을 강제하는 GPU 리소스 컨트롤러입니다.