dusty-nv/jetson-containers

Machine Learning Containers for NVIDIA Jetson and JetPack-L4T

jetson‑containers – NVIDIA Jetson エッジデバイス向けの即時実行可能な AI/ML コンテナ

何であるか

  • NVIDIA Jetson エッジデバイス（JetPack 6.2、JetPack 7、Ubuntu 24.04、ARM SBSA など）に特化した最新の AI/ML ライブラリを事前にパッケージ化した Docker（または OCI）コンテナを生成するモジュール式ビルドシステム。
  • リポジトリには「パッケージ」のカタログが含まれており、各パッケージは特定のフレームワーク（PyTorch、TensorFlow、ONNX Runtime、DeepStream、ROS 2、LLM ツールキット、ビジョンモデル、音声エンジン、ロボティクスシミュレータなど）とその依存関係を Jetson の CUDA バージョン用にコンパイルした Dockerfile フラグメントです。
  • ヘルパー スクリプト（jetson-containers）は、イメージの取得、ビルド、実行を自動化し、NVIDIA ランタイムフラグ、デバイスマウント、キャッシュサーバーを自動処理します。

主な機能

分野 例（README に掲載）
コア ML pytorch, tensorflow, jax, onnxruntime
大規模言語モデル sglang, vllm, llama.cpp, transformers, bitsandbytes, deepspeed
ビジョン / マルチモーダル llava, NanoOWL, Segment Anything (SAM), clip_trt
検索拡張生成 langchain, llama-index, FAISS, NanoDB
ロボティクス & シミュレーション ROS, Isaac Sim, Habitat Sim, MuJoCo, OpenVLA
ディフュージョン & グラフィックス Stable Diffusion WebUI, ComfyUI, nerfstudio, gsplat
音声 & 音声 whisper, faster-whisper, piper, riva-client
ホーム/IoT homeassistant-core, wyoming-whisper
その他 mamba, pykan, xltsm, agents（OpenClaw、OpenFang）

使い方

  1. ヘルパー ツールのインストール
    git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh   # --pypi を追加するとローカル devpi キャッシュを開始
  2. 必要なパッケージを選択する – packages ディレクトリに利用可能なすべてのコンポーネントがリストされています。
  3. カスタムイメージのビルド（ツールは互換性のあるベースイメージを解決し、ホイールを取得またはコンパイル、キャッシュします）：
    jetson-containers build --name=my_robot pytorch transformers ros:humble-desktop
  4. 実行 – docker run の薄いラッパーで --runtime nvidia を追加し、/data キャッシュをマウント、デバイスを転送します：
    jetson-containers run $(autotag l4t-pytorch)
    autotag は、ボード上の JetPack/L4T バージョンに応じて正しいイメージタグを自動的に選択します。
  5. CUDA バージョンの切り替え – ビルド前に CUDA_VERSION=12.6（または 13.x）を設定して異なるツールキットをターゲットにできます。また、環境変数で cuDNN、TensorRT、Python、PyTorch のバージョンをピン止めすることも可能です。

なぜ重要なのか

  • エッジ最適化：Jetson デバイスは計算リソースが限られており、独自の ARM ベース CUDA スタックを持ちます。オンデバイスで最新の AI フレームワークをソースからコンパイルするのは困難です。これらのコンテナは事前にビルドされた CUDA 互換ホイールを提供します。
  • モジュール式：ROS 2 + PyTorch + Transformers など、任意の組み合わせを手動でバイナリ互換性を解決せずにミックス＆マッチできます。
  • キャッシュ対応：オプションのローカル devpi/apt キャッシュにより、繰り返しのビルドが大幅に高速化され、外部ミラーへのアクセスを回避できます。
  • 広範なカバレッジ：cupy、numba などの低レベル数値ライブラリから、LLM、VLM、ディフュージョンを含むフルスタック生成 AI、ロボティクスシミュレータまで、Jetson AI 開発のワンストップショップを目指しています。

対象ユーザー

  • Jetson‑Orin、Nano、Xavier などでビジョンや計画パイプラインを構築するロボティクスエンジニア。
  • エッジで LLM/VLM 推論をプロトタイピングする研究者。
  • ARM-CUDA ハードウェア上でコンピュータビジョン、音声、強化学習ワークロード用の再現可能な環境が必要な開発者。
  • クロスコンパイルに苦労せずに素早く始めたい教育者や趣味の開発者。

さらに学ぶには

  • 全パッケージ一覧：https://github.com/dusty-nv/jetson-containers/tree/main/packages
  • ドキュメント：System Setup、Building Containers、Running Containers（README にリンク）
  • チュートリアル & デモ：Jetson Generative AI Lab – https://www.jetson-ai-lab.com
  • コミュニティ：README に Discord 邀請リンク（discord.gg/BmqNSK4886）

上記のすべての情報はリポジトリの README から直接取得しており、外部の仮定は一切追加されていません。

関連

  • プロジェクト
    anduril/jetpack-nixos

    jetpack‑nixos は Jetson 開発キット向けに NVIDIA JetPack（ファームウェア、カーネル、CUDA、TensorRT、マルチメディアおよび電源管理ツール）をパッケージ化する NixOS モジュールであり、フラッシュスクリプト、ISOビルドツール、OTAキャプセルアップデート、コンテナ統合を提供し、サポートされている Jetson デバイス上で完全に宣言的で再現可能な NixOS システムを実行できるようにします。

  • プロジェクト
    JacopoPan/aerial-autonomy-stack

    A flight-proven, open-source software stack for developing, simulating, and deploying multi-drone autonomy using ROS2, PX4/ArduPilot, and NVIDIA Jetson.

  • プロジェクト
    iot-salzburg/gpu-jupyter

    GPU‑Jupyterは、Python、PyTorch、TensorFlow、Julia、Rが事前にインストールされたDockerベースのGPU対応JupyterLab環境です。バージョン管理されたイメージ、カスタマイズのしやすさ、Docker‑Compose対応を備え、NVIDIA GPUを搭載した任意のマシンで再現可能なディープラーニング実験を可能にします。

  • プロジェクト
    eleiton/ollama-intel-arc

    Ollama、Stable Diffusion、OpenAI Whisperに対して、統一されたインターフェースを介してIntel Arc GPUアクセラレーションを可能にするDockerベースのデプロイスイート。

  • プロジェクト
    triton-inference-server/server

    Triton Inference ServerはNVIDIAのオープンソースのモデルサービングプラットフォームです。TensorRT、PyTorch、ONNX、OpenVINO、Pythonなどのモデルをサポートし、GPU、CPU、ARM、AWS Inferentia上で動作します。ダイナミックバッチング、シーケンス処理、アンサンブル、カスタムバックエンド、HTTP/RESTおよびgRPC API、組み込みメトリクスなどの機能を提供します。Docker、Kubernetes経由でのデプロイ、またはソースからのビルドが可能です。C++、Python、Java用のクライアントライブラリも用意されています。