dusty-nv/jetson-containers

jetson‑containers – 专为 NVIDIA Jetson 边缘设备打造的即用型 AI/ML 容器

是什么

• 一个模块化构建系统，可为 NVIDIA Jetson 边缘设备（JetPack 6.2、JetPack 7、Ubuntu 24.04、ARM SBSA 等）创建预装最新 AI/ML 库的 Docker（或 OCI）容器。
• 该仓库提供一个「包」的目录，每个包是一个 Dockerfile 片段，添加特定框架（PyTorch、TensorFlow、ONNX Runtime、DeepStream、ROS 2、LLM 工具包、视觉模型、语音引擎、机器人模拟器等）及其依赖项，并针对 Jetson 的 CUDA 版本编译。
• 辅助脚本（jetson-containers）可自动拉取、构建和运行这些镜像，自动处理 NVIDIA 运行时标志、设备挂载和缓存服务器。

核心功能

领域	示例包（在 README 中展示）
核心 ML	pytorch, tensorflow, jax, onnxruntime
大型语言模型	sglang, vllm, llama.cpp, transformers, bitsandbytes, deepspeed
视觉 / 多模态	llava, NanoOWL, Segment Anything (SAM), clip_trt
检索增强生成	langchain, llama-index, FAISS, NanoDB
机器人与仿真	ROS, Isaac Sim, Habitat Sim, MuJoCo, OpenVLA
扩散与图形	Stable Diffusion WebUI, ComfyUI, nerfstudio, gsplat
语音与音频	whisper, faster-whisper, piper, riva-client
家庭/IoT	homeassistant-core, wyoming-whisper
其他	mamba, pykan, xltsm, agents（OpenClaw、OpenFang）

如何使用

1. 安装辅助工具

   git clone https://github.com/dusty-nv/jetson-containers
   bash jetson-containers/install.sh   # 添加 --pypi 以启动本地 devpi 缓存
   

2. 选择所需包 – packages 目录列出了所有可用组件。
3. 构建自定义镜像（工具会自动解析兼容的基镜像，拉取或编译轮子，并缓存）：

   jetson-containers build --name=my_robot pytorch transformers ros:humble-desktop
   

4. 运行 – 一个 docker run 的轻量封装，自动添加 --runtime nvidia，挂载 /data 缓存，并转发设备：

   jetson-containers run $(autotag l4t-pytorch)
   

   autotag 会自动为板子上的 JetPack/L4T 版本选择正确的镜像标签。
5. 切换 CUDA 版本 – 构建前设置 CUDA_VERSION=12.6（或 13.x）以针对不同工具包；也可通过环境变量固定 cuDNN、TensorRT、Python 或 PyTorch 版本。

为何重要

• 边缘优先：Jetson 设备计算资源有限，且具有独特的 ARM 基 CUDA 栈。在设备上从源码编译最新 AI 框架非常痛苦；这些容器提供预构建的 CUDA 兼容轮子。
• 模块化：可自由混搭任意组合（如 ROS 2 + PyTorch + Transformers），无需手动解决二进制兼容性问题。
• 缓存感知：可选的本地 devpi/apt 缓存可大幅加速重复构建，并避免访问外部镜像源。
• 广泛覆盖：从底层数值库（cupy、numba）到全栈生成式 AI（LLM、VLM、扩散模型）和机器人模拟器，该目录旨在成为 Jetson AI 开发的一站式解决方案。

适合谁

• 在 Jetson‑Orin、Nano、Xavier 等设备上构建感知或规划流水线的机器人工程师。
• 在边缘端原型化 LLM/VLM 推理的研究人员。
• 需要在 ARM-CUDA 硬件上为计算机视觉、语音或强化学习工作负载构建可复现环境的开发者。
• 希望快速上手、无需与交叉编译搏斗的教育者和爱好者。

了解更多

• 完整包列表：https://github.com/dusty-nv/jetson-containers/tree/main/packages
• 文档：System Setup、Building Containers、Running Containers（README 中链接）
• 教程与演示：Jetson 生成式 AI 实验室网站 – https://www.jetson-ai-lab.com
• 社区：README 中的 Discord 邀请链接（discord.gg/BmqNSK4886）

---

以上所有信息均直接取自仓库的 README，未添加任何外部假设。