microsoft/DCVC

해결하는 문제

DCVC-UF는 신경망 비디오 코덱(NVC)의 높은 계산 복잡성으로 인해 실제 배포가 어려운 문제를 해결합니다. 높은 압축률을 제공하는 동시에 초고속 인코딩 및 디코딩 속도를 달성하는 것을 목표로 합니다.

작동 원리

이 프로젝트는 청크 기반 코딩 프레임워크를 구현합니다. 프레임을 순차적으로 처리하는 대신, 여러 프레임으로 구성된 청크를 단일의 컴팩트한 잠재 표현으로 인코딩하고 동시에 디코딩합니다. 이는 다음 기술에 의해 지원됩니다:

• Cross-frame interaction modules: 공동 시공간 모델링에 사용됩니다.
• Frame-specific decoders: 프레임의 병렬 재구성을 가능하게 합니다.
• Streamlined entropy coding: 비트스트림 상호 작용을 단일 단계로 통합하여 디코딩 오버헤드를 줄이는 메커니즘입니다.

대상

비디오 압축, 신경망 비디오 코덱 및 고성능 비디오 처리 파이프라인을 연구하는 연구자 및 개발자.

주요 특징

• 초고속 속도: 인코딩 및 디코딩 처리량에서 이전의 주요 코덱들을 크게 능가합니다.
• 넓은 비트레이트 범위: 64개의 QP 레벨을 가진 단일 모델을 통해 세밀한 비트레이트 조정이 가능합니다.
• 다양한 색 공간: YUV420 및 RGB 콘텐츠 코딩을 모두 지원합니다.
• 높은 효율성: 높은 품질을 유지하면서 VTM-17.0 대비 비트레이트 감소를 달성합니다.