dusty-nv/jetson-containers

jetson‑containers – NVIDIA Jetson 엣지 디바이스용 즉시 실행 가능한 AI/ML 컨테이너

무엇인가요

NVIDIA Jetson 엣지 디바이스(예: JetPack 6.2, JetPack 7, Ubuntu 24.04, ARM SBSA 등)에 특화된 최신 AI/ML 라이브러리를 미리 패키지화한 모듈식 빌드 시스템입니다. Docker(또는 OCI) 컨테이너를 생성합니다.
리포지토리는 "패키지"의 카탈로그를 제공하며, 각 패키지는 특정 프레임워크(PyTorch, TensorFlow, ONNX Runtime, DeepStream, ROS 2, LLM 툴킷, 비전 모델, 음성 엔진, 로보틱스 시뮬레이터 등)와 그 종속성의 Dockerfile 조각으로, Jetson의 CUDA 버전에 맞게 컴파일됩니다.
도우미 스크립트(jetson-containers)는 이미지 다운로드, 빌드, 실행을 자동화하며, NVIDIA 런타임 플래그, 장치 마운트, 캐시 서버를 자동으로 처리합니다.

주요 기능

영역	예시 패키지 (README에 표시됨)
핵심 ML	`pytorch`, `tensorflow`, `jax`, `onnxruntime`
대규모 언어 모델	`sglang`, `vllm`, `llama.cpp`, `transformers`, `bitsandbytes`, `deepspeed`
비전 / 다중 모달	`llava`, `NanoOWL`, `Segment Anything (SAM)`, `clip_trt`
검색 기반 생성	`langchain`, `llama-index`, `FAISS`, `NanoDB`
로보틱스 및 시뮬레이션	`ROS`, `Isaac Sim`, `Habitat Sim`, `MuJoCo`, `OpenVLA`
디퓨전 및 그래픽스	`Stable Diffusion WebUI`, `ComfyUI`, `nerfstudio`, `gsplat`
음성 및 오디오	`whisper`, `faster-whisper`, `piper`, `riva-client`
홈/IoT	`homeassistant-core`, `wyoming-whisper`
기타	`mamba`, `pykan`, `xltsm`, `agents` (OpenClaw, OpenFang)

사용 방법

도우미 도구 설치

git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh   # --pypi를 추가하면 로컬 devpi 캐시 시작

필요한 패키지 선택 – packages 디렉터리에 사용 가능한 모든 구성 요소 목록이 있습니다.
사용자 정의 이미지 빌드 (도구는 호환되는 베이스 이미지를 자동으로 해결하고, 휠을 다운로드하거나 컴파일하며 캐시합니다):
```
jetson-containers build --name=my_robot pytorch transformers ros:humble-desktop
```
실행 – docker run을 감싸는 가벼운 래퍼로 --runtime nvidia, /data 캐시 마운트, 장치 포워딩을 자동으로 추가합니다:
```
jetson-containers run $(autotag l4t-pytorch)
```
autotag는 보드의 JetPack/L4T 버전에 맞는 올바른 이미지 태그를 자동으로 선택합니다.
CUDA 버전 교체 – 빌드 전에 CUDA_VERSION=12.6 (또는 13.x)를 설정하여 다른 툴킷을 타겟으로 지정할 수 있습니다. 또한 환경 변수로 cuDNN, TensorRT, Python, PyTorch 버전을 고정할 수도 있습니다.

왜 중요한가요

엣지 중심: Jetson 디바이스는 계산 리소스가 제한적이며 고유한 ARM 기반 CUDA 스택을 가지고 있습니다. 온디바이스에서 최신 AI 프레임워크를 소스에서 컴파일하는 것은 고통스럽습니다. 이 컨테이너는 미리 빌드된 CUDA 호환 휠을 제공합니다.
모듈식: ROS 2 + PyTorch + Transformers 등 임의의 조합을 수동으로 바이너리 호환성을 해결하지 않고도 혼합 사용할 수 있습니다.
캐시 인식: 선택적 로컬 devpi/apt 캐시는 반복 빌드를 크게 가속화하고 외부 미러에 접근하는 것을 피합니다.
포괄적인 커버리지: cupy, numba와 같은 저수준 수치 라이브러리에서 LLM, VLM, 디퓨전을 포함한 전체 스택 생성형 AI, 로보틱스 시뮬레이터에 이르기까지, Jetson AI 개발의 원스톱 솔루션을 목표로 합니다.

누구를 위한가요

더 알아보기

위 정보는 리포지토리의 README에서 직접 가져왔으며, 외부 가정은 전혀 추가되지 않았습니다.