tensorflow/graphics

What it solves

3D 비전 작업을 위한 머신러닝 모델을 학습시키는 데는 일반적으로 대량의 레이블이 지정된 데이터가 필요하며, 이는 제작 비용이 많이 듭니다. TensorFlow Graphics는 '분석을 통한 합성(analysis by synthesis)' 방식을 사용하여 모델을 자기 지도 방식으로 학습시킬 수 있는 미분 가능한 그래픽 레이어를 제공함으로써 이 문제를 해결합니다. 여기서 시스템은 장면 파라미터를 추출하고 이를 다시 이미지로 렌더링하여 원본과 비교하여 정확도를 확인합니다.

How it works

컴퓨터 그래픽 기술을 미분 가능한 레이어로 신경망 아키텍처에 직접 통합합니다. 이를 통해 네트워크가 기하학적 사전 지식과 제약을 활용할 수 있도록 합니다. 이 라이브러리는 카메라, 반사 모델, 공간 변환 및 메쉬 컨볼루션을 포함한 특정 구성 요소를 제공하며, TensorBoard를 위한 3D 뷰어를 함께 제공하여 3D 메쉬와 포인트 클라우드를 디버깅하는 데 도움을 줍니다.

Who it’s for

3D 컴퓨터 비전, 객체 포즈 추정 및 표면 변형을 위한 머신러닝 모델을 구축하는 연구자 및 개발자.

Highlights

• 신경망을 위한 미분 가능한 그래픽 및 기하학 레이어.
• '분석을 통한 합성'을 통한 자기 지도 학습 지원.
• TensorBoard를 위한 통합된 3D 시각화 플러그인.
• 카메라, 반사 모델 및 메쉬 컨볼루션을 위한 포괄적인 도구 세트.