meta-pytorch/torchcodec

해결하는 문제

TorchCodec는 미디어 파일(비디오, 오디오, 이미지)을 PyTorch 텐서로 직접 디코딩하고 인코딩할 수 있는 PyTorch 네이티브 방식을 제공합니다. 미디어 코덱과 FFmpeg 명령줄 도구를 수동으로 처리하는 복잡성을 제거하여 연구자와 개발자가 미디어 데이터를 ML 모델에 효율적으로 공급하여 학습 또는 추론을 수행할 수 있게 합니다.

작동 방식

TorchCodec는 비디오 및 오디오 처리를 위한 FFmpeg의 복잡성을 추상화하면서 자체 이미지 디코더와 인코더를 제공합니다. PyTorch 관례를 반영한 Pythonic API를 제공하여 사용자가 미디어 파일의 시간 기반 인덱싱 또는 프레임 기반 인덱싱을 수행할 수 있게 합니다. 이 라이브러리는 디코딩 및 인코딩을 위해 CPU와 CUDA GPU 가속을 모두 지원하며, 데이터가 PyTorch 변환에 즉시 사용할 수 있는 텐서로 반환되도록 보장합니다.

대상 사용자

멀티모달 데이터를 다루는 ML 엔지니어와 연구자를 위해 설계되었으며, 특히 PyTorch를 사용하여 비디오, 오디오 또는 이미지 데이터셋에 대해 학습하거나 추론을 실행하는 사람들을 대상으로 합니다.

주요 특징

• PyTorch 통합: 데이터를 텐서로 반환하여 PyTorch 생태계와 원활하게 통합할 수 있습니다.
• 하드웨어 가속: CPU 및 CUDA GPU( NVDEC/NVENC 포함)에서 디코딩 및 인코딩을 지원합니다.
• 유연한 인덱싱: 간단한 프레임 인덱싱, 시간 기반 인덱싱(PTS) 및 프레임 배치를 지원합니다.
• 광범위한 형식 지원: FFmpeg를 활용하여 다양한 오디오/비디오 형식을 지원하며 이미지의 경우 JPEG, PNG, WebP, GIF, AVIF 및 HEIC를 지원합니다.