UniflexAI/tinynav

TinyNav: A lightweight, hackable system to guide your robots anywhere.

TinyNav — 軽量ロボットナビゲーションシステム

TinyNav は、ロボットが自分がどこにいるか、そして目的地にどうやって行くかを理解するのに役立つオープンソースプロジェクトです。README では「ロボットをどこにでも導く軽量でハッキング可能なシステム」と説明されています。Uniflex AI というグループによって維持されています。

機能

TinyNav はロボットにマップベースのナビゲーションを提供します:ロボットは周囲のマップを構築し、そのマップ内での自分の位置を特定し(再ローカリゼーションと呼ばれる)、目的地への経路を計画します。システムは全パイプラインを処理します:

  • 認識 — センサーデータ(カメラ、IMU)を処理して環境を理解
  • マッピング — マップの構築と更新
  • プランニング — 経路と軌道の計算
  • 制御 — ロボットのモーターへのコマンド送信

サポートされているハードウェア

README には、最初の焦点として 2 つのロボットプラットフォームがリストされています:

  • Unitree GO2 — 四足ロボット(4 本足)
  • LeKiwi — 車輪付きロボット

また、2 種類のカメラをサポートしています:

  • Intel RealSense — 一般的な深度カメラ
  • Looper — 深度センシングと視覚慣性オドメトリ(VIO)を内蔵した新しいカメラで、ロボットの動きの追跡に役立ちます

コンピューティングハードウェアについては、Jetson Orin(NVIDIA の組み込み AI プラットフォーム)とデスクトップ PC で動作し、RK3588 などのより安価なプラットフォームをサポートする計画があります。

設計目標

プロジェクトには 4 つの目標があります:

  1. 小型 — コアコードはコンパクト(約 2,000 行)で、理解と変更が容易です。
  2. 堅牢 — さまざまなシーンと現実世界の条件で確実に動作するように設計されています。
  3. 複数のロボットプラットフォーム — さまざまなロボットタイプの「すぐに使える」サポートを目指しています。
  4. 複数のチッププラットフォーム — より広いアクセシビリティのためにさまざまなコンピューティングハードウェアをサポートします。

主な機能(バージョン履歴から)

v0.1(初期リリース):

  • 再ローカリゼーションとグローバルプランニングを備えたマップベースのナビゲーション
  • Unitree および LeKiwi ロボットのサポート
  • アップグレードされたステレオ深度モデル
  • ロボティクス向けに調整された RealSense 露出
  • Gazebo シミュレーション環境
  • Docker イメージビルドパイプライン

v0.2 で追加:

  • 3D ガウススプラッティング(3DGS)マップ表現 — 高品質で直感的なエディタを備えたマップの可視化方法
  • ESDF ベースの障害物回避 — ロボットは障害物を回避するだけでなく、安全な距離を保ちます
  • ローカリゼーションベンチマーク — 改善を測定するための標準テスト
  • CUDA グラフ最適化 — Jetson Nano で 20Hz 以上で動作し、レイテンシを削減
  • マップはキーバリューデータベース(shelve)を使用して保存され、パフォーマンスが向上
  • 50 以上のプルリクエストがマージされました

v0.3 で追加:

  • IMU ビジュアル融合 — 慣性測定データとカメラデータを組み合わせてピッチ角の精度を向上
  • 弾力性のあるマッピング — メッセージの損失を優雅に処理し、再設計された可視化ツールを備えています
  • 統一モデルトレーニング — 認識とプランニングの両方のタスクを処理する単一のニューラルモデル
  • 改善された C++ コード品質チェック(clang-tidy、Address Sanitizer)

オプション機能:FlexGlue マッチャー

デフォルトでは、TinyNav はマッピングと再ローカリゼーションに LightGlue と呼ばれる特徴マッチングアルゴリズムを使用します。FlexGlue と呼ばれるオプションの代替があり、遅いですが特定のケースで役立つ場合があります。README には、LightGlue がはるかに高速であることを示すベンチマーク表が含まれています(例:単一ペアマッチで 9.9 ミリ秒 vs 502.2 ミリ秒)が、FlexGlue は異なる一貫性特性を持っています。

実行方法

前提条件: git、git-lfs、Docker、および NVIDIA Container Toolkit(PC 用)または JetPack SDK 6.2+(Jetson Orin 用)。

クイックスタート:

  1. リポジトリをクローンし、環境を検証するためのチェックスクリプトを実行します
  2. Dev Containers 拡張機能を使用して VS Code でプロジェクトを開きます
  3. 記録されたデータセット(ROS bag ファイル)を再生し、RViz(可視化ツール)を使用してロボットのプランニングをリアルタイムで表示するデモスクリプトを実行します

デモスクリプトは事前に記録されたデータセットをストリーミングし、認識とプランニングモジュールを実行し、ロボットの状態と計画された軌道を表示します。

プロジェクト構造

コードは次のように編成されています:

  • tinynav/core/ — 認識、マッピング、プランニング、制御のための Python モジュール
  • tinynav/cpp/ — パフォーマンスクリティカルな操作のための C++ バックエンド
  • tinynav/models/ — 事前トレーニング済みモデルと変換スクリプト
  • scripts/ — デモ、Docker 管理、データ記録のためのシェルスクリプト

コードサイズ

README には、すべてのファイルで約 2,660 行、約 1,959 行の Python、292 行の C++、および少量のシェルスクリプト、Dockerfile、設定ファイルを示すコード行数表が含まれています。

コミュニティとサポート

  • バウンティプログラム — プロジェクトは有料タスクを提供しています。スプレッドシートには利用可能なバウンティと報酬がリストされています。
  • 貢献者 — 5 人がコード貢献者としてリストされています。
  • スポンサー — DeepMirror と Looper Robotics がプロジェクトをサポートしています。
  • 連絡チャネル — Discord サーバーと X(Twitter)アカウントがリンクされています。

今後の計画

README には 3 つの将来の目標がリストされています:

  1. 毎秒 30 フレーム以上のリアルタイム認識をサポートする高最適化ニューラルネットワークモデル
  2. マップモジュールの一貫性と精度の向上
  3. 統合されたセマンティック情報を備えたエンドツーエンドの軌道プランニング

平易な言葉で

TinyNav は、ナビゲーションが必要なロボットのためのコンパクトでオープンソースの「頭脳」です。カメラとセンサーデータを受け取り、マップを構築し、ロボットの位置を特定し、安全な経路を計画します。これらすべてが、開発者が簡単に変更できるほど小さなコードベースで実現されています。特定の既製ロボット(四足の Unitree と車輪付きの LeKiwi)で動作するように設計されており、NVIDIA の組み込みハードウェアで実行され、リアルタイム操作に十分な速度に焦点を当てています。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト