FunClip: ASR 전사, 화자 ID 또는 LLM 분석을 기반으로 세그먼트를 추출하는 자동 비디오 클리핑 도구

해결하는 문제

FunClip은 긴 비디오에서 특정 세그먼트를 추출하는 과정을 단순화합니다. 타임라인을 수동으로 훑어보는 대신, 사용자는 전사된 텍스트, 특정 화자 또는 AI 기반 콘텐츠 분석을 기반으로 비디오 섹션을 찾고 클리핑할 수 있습니다.

작동 방식

이 도구는 먼저 Paraformer, Fun-ASR-Nano 또는 SenseVoice와 같은 모델을 사용하여 비디오에 대해 자동 음성 인식(ASR)을 수행하여 타임스탬프가 포함된 전사본을 생성합니다. 그런 다음 사용자는 세 가지 방식으로 비디오를 클리핑할 수 있습니다:

1. 텍스트 기반: 전사본에서 특정 텍스트 세그먼트를 선택합니다.
2. 화자 기반: CAM++ 모델을 사용하여 화자를 식별하고 특정 인물에게 속하는 세그먼트를 클리핑합니다.
3. AI 기반: LLM(Qwen 또는 GPT와 같은) 또는 비디오 이해 모델(TwelveLabs Pegasus와 같은)을 통합하여 전사본 또는 시각적 콘텐츠를 분석하고 클리핑을 위한 타임스탬프를 자동으로 제안합니다.

대상 사용자

수동 편집 없이 비디오 녹화물에서 하이라이트나 특정 인용구를 빠르게 격리해야 하는 콘텐츠 크리에이터, 편집자 및 연구자를 위해 설계되었습니다.

주요 특징

• 산업급 ASR: 높은 정확도의 중국어 음성 인식을 위해 Paraformer-Large를 통합합니다.
• 스마트 클리핑: 프롬프트를 통해 관련 비디오 세그먼트를 자동으로 식별하기 위해 LLM 기반 추론을 지원합니다.
• 화자 분할(Speaker Diarization): 화자 ID를 기반으로 세그먼트를 인식하고 클리핑할 수 있는 기능입니다.
• 다국어 지원: 영어, 일본어 및 다양한 중국어 방언을 처리할 수 있습니다.
• 핫워드(Hotword) 커스터마이징: 사용자가 엔티티 단어 또는 이름을 지정하여 ASR 정확도를 향상시킬 수 있습니다.
• 시각적 이해: 오디오뿐만 아니라 시각적 이벤트에 기반하여 클리핑하기 위해 TwelveLabs Pegasus와의 선택적 통합을 지원합니다.