oarriaga/paz

解決する課題

PAZは、Keras/TensorFlowを使用してロボットの知覚のためのディープラーニングツールを統合するように設計された、自律システム向けの階層型知覚ライブラリです。単純な既製の予測から、複雑でカスタム構築された知覚システムまで、ビジョンパイプラインを構築するための構造化された方法を提供します。

仕組み

PAZは、使いやすさと柔軟性のバランスをとるために、機能を3つのAPIレベルに整理しています：

• High-level API: 即時予測のための事前実装された「パイプライン」を提供します（例：SSD512COCOを使用した物体検出）。
• Mid-level API: 「Processors」を使用して、シーケンシャルまたは明示的なパイプラインを構築できます。シーケンシャルプロセッサはデータ拡張などの関数を連鎖させることができ、明示的プロセッサはカスタムロジック（例：顔検出と感情分類の組み合わせ）を可能にします。
• Low-level API: ボックス、カメラ、画像、キーポイント、クォータニオンを処理するためのユーティリティ関数を備えたバックエンドの基盤を提供します。

対象者

自律システムやロボット工学に取り組む開発者や研究者、特にコンピュータビジョンタスクを実装するためのモジュール化された方法を必要とするPythonエコシステム（TensorFlow/Keras）のユーザーを対象としています。

ハイライト

• 多様なモデルサポート: 物体検出 (SSD)、セマンティックセグメンテーション (U-NET)、6D姿勢推定 (Pix2Pose)、および人間/手の姿勢推定 (HRNet, DetNet) の実装が含まれています。
• モジュール式パイプラインアーキテクチャ: 中レベルのプロセッサを組み合わせることで、複雑な知覚ワークフローの作成を可能にします。
• 統合データローダー: OpenImages、VOC、CityScapes、FERPlusなどのデータセットを内蔵サポートしています。
• ロボット対応: ROSなどのフレームワークとのデータ交換を容易にするために、組み込みメッセージ（例：Pose6D）が含まれています。