modelscope/FunClip

해결하는 문제

FunClip은 음성 인식(ASR)과 화자 식별 기술을 활용하여 텍스트 또는 화자 정체성 기반으로 동영상 세그먼트를 자동으로 추출하는 오픈소스 자동 동영상 클리핑 도구입니다. 긴 동영상을 수동으로 스크롤하며 특정 발언이나 화자를 찾아 짧은 클립을 만드는 번거로움을 제거합니다.

작동 방식

이 도구는 AI 모델의 파이프라인을 사용하여 동영상 파일을 처리합니다:

1. 음성 인식(ASR): 알리바바의 FunASR Paraformer 시리즈(Paraformer-Large 및 핫워드 맞춤형용 SeACo-Paraformer 포함)를 활용하여 오디오를 텍스트로 변환하고, 텍스트에 대한 정확한 타임스탬프를 예측합니다.
2. 화자 식별: CAM++ 모델을 통합하여 다양한 화자를 식별하여, 누가 말하고 있는지 기반으로 세그먼트를 자르는 기능을 제공합니다.
3. AI 지원 클리핑: OrcaRouter 또는 Cheaper Inference와 같은 게이트웨이를 통해 LLM과 연동하거나 TwelveLabs Pegasus와 같은 비디오 이해 모델과 연동하여 텍스트나 시각 정보를 분석하고 자동으로 하이라이트 세그먼트를 제안할 수 있습니다.
4. 사용자 인터페이스: Gradio 기반 웹 인터페이스를 통해 사용자는 동영상을 업로드하고, 텍스트 전사에서 세그먼트를 선택한 후 자막이 포함된 최종 클립을 생성할 수 있습니다.

대상 사용자

중국어 및 영어 오디오를 다루는 콘텐츠 제작자, 영상 편집자, 연구자로서, 말한 내용이나 말한 사람 기반으로 동영상의 특정 순간을 빠르게 추출해야 하는 분들.

주요 특징

• 산업 수준의 ASR: 높은 정확도의 중국어 음성 인식과 타임스탬프 예측에 Paraformer-Large 사용.
• 화자 기반 클리핑: 자동으로 인식된 화자 ID 기반으로 동영상을 자르는 기능.
• LLM 통합: 외부 LLM 또는 TwelveLabs Pegasus를 통한 콘텐츠 인식형 비디오 이해를 활용한 AI 기반 하이라이트 탐지 지원.
• 핫워드 맞춤 설정: SeACo-Paraformer를 사용해 특정 이름이나 엔티티의 인식을 강화.
• 유연한 배포: 로컬에서 Gradio 서비스로 실행하거나 명령줄 인터페이스를 통해 사용 가능.
• 자동 자막 생성: 전체 동영상과 추출된 클립용 SRT 파일을 자동 생성.