oarriaga/paz

해결하는 문제

PAZ는 Keras/TensorFlow를 사용하여 로봇 인지를 위한 딥러닝 도구를 통합하도록 설계된 자율 시스템용 계층적 인지 라이브러리입니다. 단순한 기성 예측부터 복잡하고 맞춤 제작된 인지 시스템에 이르기까지 비전 파이프라인을 구축할 수 있는 구조화된 방법을 제공합니다.

작동 방식

PAZ는 사용 편의성과 유연성의 균형을 맞추기 위해 기능을 세 가지 API 수준으로 구성합니다:

• High-level API: 즉각적인 예측을 위한 사전 구현된 "pipelines"를 제공합니다 (예: SSD512COCO를 사용한 객체 탐지).
• Mid-level API: "Processors"를 사용하여 순차적 또는 명시적 파이프라인을 구축할 수 있습니다. 순차적 프로세서는 데이터 증강과 같은 함수를 체인처럼 연결할 수 있으며, 명시적 프로세서는 커스텀 로직(예: 얼굴 탐지 및 감정 분류 결합)을 허용합니다.
• Low-level API: 박스, 카메라, 이미지, 키포인트 및 쿼터니언을 처리하기 위한 유틸리티 함수와 함께 백엔드 기반을 제공합니다.

대상 사용자

자율 시스템 및 로봇 공학 분야에서 활동하는 개발자 및 연구자, 특히 컴퓨터 비전 작업을 구현하기 위한 모듈식 방법을 필요로 하는 Python 생태계(TensorFlow/Keras) 사용자를 대상으로 합니다.

주요 특징

• 다양한 모델 지원: 객체 탐지(SSD), 시맨틱 세그멘테이션(U-NET), 6D 포즈 추정(Pix2Pose), 인간/손 포즈 추정(HRNet, DetNet) 구현이 포함되어 있습니다.
• 모듈형 파이프라인 아키텍처: 중간 수준의 프로세서를 조합하여 복잡한 인지 워크플로우를 생성할 수 있습니다.
• 통합 데이터 로더: OpenImages, VOC, CityScapes, FERPlus와 같은 데이터셋에 대한 내장 지원을 제공합니다.
• 로봇 준비 완료: ROS와 같은 프레임워크와의 데이터 교환을 용이하게 하기 위해 내장 메시지(예: Pose6D)가 포함되어 있습니다.