modelscope/FunClip

解决的问题

FunClip 是一个利用语音识别（ASR）和说话人识别技术，基于文本或说话人身份自动提取视频片段的开源自动化视频剪辑工具。它消除了手动浏览长视频以查找特定发言或说话人来制作短片段的繁琐工作。

工作原理

该工具使用一系列 AI 模型处理视频文件：

1. 语音识别（ASR）： 利用阿里巴巴的 FunASR Paraformer 系列（包括 Paraformer-Large 和用于热词定制的 SeACo-Paraformer）对音频进行转录，并预测文本的精确时间戳。
2. 说话人识别： 集成 CAM++ 模型以识别不同说话人，使用户能够根据谁在说话来剪辑视频片段。
3. AI 辅助剪辑： 可通过 OrcaRouter 或 Cheaper Inference 等网关与 LLM 集成，或与 TwelveLabs Pegasus 等视频理解模型结合，分析转录文本或视觉内容，自动建议高光片段。
4. 用户界面： 基于 Gradio 的 Web 界面允许用户上传视频，从转录文本中选择文本段落，并生成带字幕的最终剪辑片段。

适用人群

需要根据所说内容或说话人快速提取视频录音中特定时刻的内容创作者、视频编辑者和研究人员，尤其适用于处理中文和英文音频的用户。

主要亮点

• 工业级 ASR： 使用 Paraformer-Large 实现高精度中文语音识别与时间戳预测。
• 基于说话人的剪辑： 可根据自动识别的说话人 ID 对视频进行裁剪。
• LLM 集成： 支持通过外部 LLM 或 TwelveLabs Pegasus 实现内容感知的视频理解，进行 AI 驱动的高光检测。
• 热词定制： 使用 SeACo-Paraformer 增强对特定名称或实体的识别能力。
• 灵活部署： 可本地运行为 Gradio 服务，也可通过命令行接口使用。
• 自动字幕生成： 为完整视频和提取的剪辑片段自动生成 SRT 字幕文件。