StreamEval/StreamEval

해결하는 문제

StreamEval은 인터랙티브 비디오 생성 모델이 실시간 환경에서 얼마나 잘 작동하는지 측정하는 문제를 해결합니다. 정적 비디오 생성과 달리 스트리밍 모델은 지속적인 사용자 입력에 대응하고, 시간이 지남에 따라 컨텍스트를 유지하며, 최대 300초 동안 지속되는 세션 중에 동적인 요청을 처리해야 합니다.

작동 방식

이 프로젝트는 인터랙티브 세션을 시뮬레이션하는 표준화된 테스트 프레임워크를 제공합니다. 디지털 휴먼 대화, 월드 생성, 비디오 편집과 같은 5가지 특정 작업 전반에 걸쳐 10가지 고유한 지표를 사용하여 모델을 평가합니다. 시스템은 모델이 실시간 지시를 얼마나 잘 따르는지, 시각적 안정성을 유지하는지, 상호작용 전반에 걸쳐 정체성이나 연속성을 보존하는지 추적합니다.

대상 사용자

이 벤치마크는 실시간 상호작용이 필요한 생성형 비디오 모델을 구축하거나 테스트하는 연구자와 개발자를 위해 설계되었습니다. 일관된 프로토콜 및 평가 규칙 세트에 따라 모델 성능을 점수화할 수 있는 엄격하고 재현 가능한 방법이 필요한 사용자에게 적합합니다.

주요 특징

• 인터랙티브 스트리밍 비디오 생성 전용 최초의 벤치마크.
• 모든 평가 코드, 프로토콜, 채점 규칙을 포함한 완전 오픈 소스.
• 아바타 상호작용부터 복잡한 비디오 편집까지 5가지 고유 작업 포함.
• 품질, 안정성, 지시 이행 능력을 평가하기 위한 10가지 특정 지표 포함.
• 최신 모델 발전을 추적하기 위한 월간 리더보드 업데이트.