dusty-nv/jetson-containers

jetson‑containers – 為 NVIDIA Jetson 邊緣裝置打造的即時執行 AI/ML 容器

是什麼

• 一個模組化建構系統，可為 NVIDIA Jetson 邊緣裝置（JetPack 6.2、JetPack 7、Ubuntu 24.04、ARM SBSA 等）建立預先打包最新 AI/ML 套件的 Docker（或 OCI）容器。
• 倉儲提供「套件」目錄，每個套件都是 Dockerfile 片段，加入特定框架（PyTorch、TensorFlow、ONNX Runtime、DeepStream、ROS 2、LLM 工具包、視覺模型、語音引擎、機器人模擬器等）及其依賴項，並針對 Jetson 的 CUDA 版本編譯。
• 助手指令碼（jetson-containers）可自動拉取、建構與執行這些映像，自動處理 NVIDIA 執行時旗標、裝置掛載與快取伺服器。

主要功能

領域	例子套件（在 README 中展示）
核心 ML	pytorch, tensorflow, jax, onnxruntime
大型語言模型	sglang, vllm, llama.cpp, transformers, bitsandbytes, deepspeed
視覺 / 多模態	llava, NanoOWL, Segment Anything (SAM), clip_trt
檢索增強生成	langchain, llama-index, FAISS, NanoDB
機器人與模擬	ROS, Isaac Sim, Habitat Sim, MuJoCo, OpenVLA
擴散與圖形	Stable Diffusion WebUI, ComfyUI, nerfstudio, gsplat
語音與音訊	whisper, faster-whisper, piper, riva-client
家庭/IoT	homeassistant-core, wyoming-whisper
其他	mamba, pykan, xltsm, agents（OpenClaw、OpenFang）

如何使用

1. 安裝助手工具

   git clone https://github.com/dusty-nv/jetson-containers
   bash jetson-containers/install.sh   # 加上 --pypi 以啟動本地 devpi 快取
   

2. 選擇所需套件 – packages 目錄列出所有可用元件。
3. 建構自訂映像（工具會解析相容的基底映像，拉取或編譯輪子，並快取）：

   jetson-containers build --name=my_robot pytorch transformers ros:humble-desktop
   

4. 執行 – 一個 docker run 的輕量封裝，自動加入 --runtime nvidia，掛載 /data 快取，並轉發裝置：

   jetson-containers run $(autotag l4t-pytorch)
   

   autotag 會自動為板子上的 JetPack/L4T 版本選擇正確的映像標籤。
5. 切換 CUDA 版本 – 建構前設定 CUDA_VERSION=12.6（或 13.x）以針對不同工具包；也可透過環境變數固定 cuDNN、TensorRT、Python 或 PyTorch 版本。

為何重要

• 邊緣優先：Jetson 裝置計算資源有限，且具有獨特的 ARM 基 CUDA 堆疊。在裝置上從原始碼編譯最新 AI 框架非常痛苦；這些容器提供預先建構的 CUDA 相容輪子。
• 模組化：可自由混搭任意組合（如 ROS 2 + PyTorch + Transformers），無需手動解決二進位相容性問題。
• 快取感知：可選的本地 devpi/apt 快取可大幅加速重複建構，並避免觸及外部鏡像源。
• 廣泛涵蓋：從底層數值函式庫（cupy、numba）到全棧生成式 AI（LLM、VLM、擴散模型）與機器人模擬器，該目錄旨在成為 Jetson AI 開發的一站式解決方案。

適合誰

• 在 Jetson‑Orin、Nano、Xavier 等裝置上建構感知或規劃流程的機器人工程師。
• 在邊緣端原型化 LLM/VLM 推理的研究人員。
• 需要在 ARM-CUDA 硬體上為電腦視覺、語音或強化學習工作負載建構可重現環境的開發者。
• 希望快速上手、無需與交叉編譯搏鬥的教育者與愛好者。

進一步了解

• 完整套件清單：https://github.com/dusty-nv/jetson-containers/tree/main/packages
• 文件：System Setup、Building Containers、Running Containers（README 中連結）
• 教學與示範：Jetson 生成式 AI 實驗室網站 – https://www.jetson-ai-lab.com
• 社群：README 中的 Discord 邀請連結（discord.gg/BmqNSK4886）

---

以上所有資訊均直接取自倉儲的 README，未添加任何外部假設。