microsoft/mlvc

해결하는 문제

MLVC는 소비자 기기에서 실제 적용을 목적으로 설계된 신경망 기반 동영상 코덱입니다. Apple, Intel, Qualcomm의 일반적인 NPU(신경처리장치)에서 높은 시각적 품질을 유지하면서도 실시간 성능(평균 100 FPS)을 달성하는 학습 기반 동영상 압축 시스템을 구축하는 과제를 해결합니다.

작동 방식

MLVC는 동영상 압축에 학습 기반 접근법을 사용하며, 모델의 훈련과 배포를 위한 완전한 파이프라인을 제공합니다. 다음 기능을 포함합니다:

• 훈련 파이프라인: 이미지(I-프레임) 및 동영상(P-프레임) 모델에 대한 훈련을 지원하며, PSNR 기반 또는 인지 기반 최적화 옵션 제공.
• 하드웨어 최적화: Apple의 CoreML, Intel의 OpenVINO용 ONNX, Qualcomm의 QNN로 모델을 변환하는 도구를 포함하여 하드웨어 가속을 활용.
• 엔트로피 코딩: 실시간 배포에 최적화된 생산용 C++ 엔트로피 코더로 실제 비트스트림 생성 처리.
• 평가 도구 모음: BD-rate, RD 곡선, 다양한 품질 지표(PSNR, MS-SSIM, LPIPS 등)를 계산할 수 있는 도구로, H.265/HEVC와 같은 전통적 코덱과 성능 비교 가능.

대상 사용자

학습 기반 동영상 압축, 신경망 코덱, 엣지 디바이스에서 고성능 AI 기반 미디어 처리에 종사하는 연구자 및 개발자.

주요 특징

• 실시간 성능: 일반적인 NPU에서 인코딩 및 디코딩 시 약 100 FPS 달성.
• 하드웨어 호환성: Apple, Intel, Qualcomm NPU에 대한 네이티브 지원을 전용 내보내기 도구를 통해 제공.
• 현저한 효율성 향상: 하드웨어 HEVC 대비 70% 이상의 MOS 기반 BD-rate 개선.
• 포괄적인 도구 제공: 사전 학습된 체크포인트, 훈련 코드, 벤치마킹 도구 포함.