hustvl/Senna
[IJCV 2026] Senna: Bridging Large Vision-Language Models and End-to-End Autonomous Driving
何を解決するか
Sennaは、エンドツーエンドの自律走行システムの限界を克服するために、大規模な視覚言語モデル（LVLM）を統合し、さまざまなシナリオにおける計画の安全性、堅牢性、汎化能力を向上させます。
動作方法
Sennaは視覚言語モデルとエンドツーエンド走行モデルを橋渡しします。7Bパラメータのモデル（Vicuna-7b-v1.5に基づく）を使用し、6視点の入力画像を処理してシーンの説明と計画の説明を生成します。システムは3段階で訓練されます：ミックス事前学習、走行ファインチューニング、計画ファインチューニング（フルパラメータおよびLoRAファインチューニングの両方をサポート）。
対象ユーザー
自律走行、身体化知能、および大規模なマルチモーダルモデルを車両計画・認識に統合する研究者や開発者。
主な特徴
- 最先端の計画性能：計画精度において最先端の結果を達成。
- シナリオ間の汎化能力：新しい走行環境への転送・汎化能力が優れている。
- マルチモーダル統合：複数のカメラ視点からの視覚入力を言語ベースの推論と組み合わせて走行意思決定を実現。
- 包括的なツールキット：QAデータ生成、訓練、予測されたメタアクションの可視化用スクリプトを含む。
関連
- プロジェクト
bytedance/SALMONNSALMONN は、視覚、音声、テキスト、アクションを同時に処理するオープンソースのマルチモーダル大規模言語モデルのファミリーです。リポジトリには、モデルチェックポイント、推論コード、トレーニングスクリプト、大規模なアノテーション付きデータセット（ビデオキャプションや音声品質データを含む）が含まれています。video-SALMONN-2、ELLSA、F-16 などのバリアントは、ストリーミング、全二重の知覚と生成を可能にし、インタラクティブエージェント、ビデオQA、キャプション生成、音声品質評価に適しています。
- プロジェクト
xiaomi-research/recogdriveReCogDrive は、視覚言語モデルと拡散ベースの軌跡プランナーを組み合わせ、新しい DiffGRPO RL ステップで強化された研究グレードの自動運転フレームワークです。事前学習 QA データセット（12 のオープンソース運転コーパス）、複数のチェックポイント（2B-8B VLM、IL および RL バリアント）、NAVSIM、Bench2Drive、DriveLM などでのトレーニング/評価用スクリプトが付属しています。いくつかのベンチマークで最先端の結果が報告されており、すべてのコード、モデル、データが公開されています。
- プロジェクト
- プロジェクト
- プロジェクト
erwinmsmith/SOMASSOMASは、危機対応における安全な人間と機械の協調のために設計されたマルチエージェント強化学習フレームワークであり、リアルタイムの安全ガードレールとオフラインシミュレーション学習を備えています。