remyxai/VQASynth

何を解決するか

VQASynth は、AIの事前学習データセットにおける高品質な空間推論データの不足に対処するように設計されています。ユーザーが標準的な画像データセットを、3D空間的関係、距離、方向性に特化した視覚的質問応答（VQA）データセットに変換できるようにします。これは、エンボディッドAIやロボティクスにおいて極めて重要な要素です。

仕組み

このプロジェクトは、意味的データと計測データを統合して合成空間VQAペアを生成するパイプラインを実装しています。プロセスは以下の通りです：

1. 局所化：Florence-2 や SAM2 を使って、タスクに関連するオブジェクトを検出・セグメンテーションします。
2. 3D再構成：VGGT を使って画像を3Dに変換し、オブジェクトごとの点群、深度マップ、内部パラメータを生成します。
3. VQA生成：プロンプトジェネレータを使って、再構成された3Dシーンに基づいて質問-回答ペアを生成します。多くの場合、Chain-of-Thought（CoT）推論を組み込んで精度を向上させます。

さらに、NOOA を通じたエージェントベースのアプローチも提供されており、動的にツール呼び出し（例：計測深度、オブジェクトの向き、領域のキャプション）を組み合わせて、事前にテンプレート化されたパイプラインに従わず、リアルタイムで空間的質問に答えることが可能になります。

対象ユーザー

• AI研究者：視覚言語モデル（VLM）や空間推論に取り組んでいる方。
• ロボティクス開発者：物理環境における3D距離やオブジェクトの向きを理解する必要があるエンジニア。
• データセットキュレーター：既存の画像データセットに地に足のついた空間的アノテーションを追加したいユーザー。

特徴

• 計測深度の統合：DepthPro の代わりに VGGT を使用し、より高速かつ正確な計測深度推定を実現。
• 合成データ生成：SpaceOm や SpaceThinker といったデータセットを生成可能で、VLMのインストラクションチューニングに活用可能。
• 動的ツール構成：エージェント版では、幅広いツール（例：Orient-Anything、MediaPipeポーズキーポイント）を用いて、テンプレート化されていない柔軟な空間推論が可能。
• CoT推論：VLMが現実世界のオブジェクトの事前知識や視覚的手がかりに基づいて距離を推定できるように、推論の経路を生成。
• Lerobot統合：VlmClient プロトコルと互換性があり、ロボット学習パイプラインで報酬やCoTのソースとして利用可能。