linzzzzzz/openclip

OpenClip - AI-powered highlight extraction for long videos (AI 驱动的长视频精彩时刻提取工具)

What it solves

OpenClip 是一个轻量级的自动视频处理流水线,旨在从长视频(如直播或谈话类视频)中识别并提取最吸引人的精彩片段。它消除了手动翻找数小时视频素材以寻找具有病毒式传播潜力的片段的繁琐工作,自动处理从下载、转录到 AI 驱动的分析以及最终剪辑生成的全过程。

How it works

该系统遵循一个多阶段流水线:

  1. Ingestion: 从 Bilibili、YouTube 或本地文件下载视频。
  2. Transcription: 使用平台字幕或本地 ASR (Whisper 用于英语,Paraformer 用于中文)。
  3. Analysis: 如果视频超过 20 分钟,它将被分割成段落。一个 LLM (通过 Qwen, OpenRouter, GLM, MiniMax, 或 custom OpenAI-compatible APIs) 会根据互动性和娱乐价值分析内容。
  4. Optimization: 用户可以启用 deep-optimize 模式,该模式会增加二次 AI 审核和边界修正阶段,以确保剪辑片段是独立且自然的。
  5. Production: 生成带有配套字幕、摘要和封面图的独立视频剪辑。它还可以将字幕压制进视频中,并添加艺术化的横幅。

Who it’s for

  • Content Creators: 寻求快速将长视频直播或播客转换为社交媒体短视频的创作者。
  • AI Agents: Claude Code, TRAE, 或 Cursor 的用户可以使用它作为一种技能,通过自然语言处理视频。
  • Developers: 想要轻量级、可定制的替代方案,以替代笨重的 Docker-based 视频处理工具的人。

Highlights

  • Multi-Interface Support: 支持通过 Streamlit web UI, CLI, 和作为 Agent Skill 使用。
  • Intelligent Analysis: 支持 --user-intent 来引导 AI 关注特定话题 (例如 ""views on AI risk"")。
  • Speaker Identification: 一个预览功能,使用参考音频片段在字幕中标记特定发言人。
  • Flexible Post-Processing: 包括字幕压制,并可选 LLM-based 翻译以及各种艺术横幅样式 (例如 neon, metallic, crystal)。
  • Lightweight Design: 使用 Python 和 FFmpeg 构建,避免了 Redis 或 PostgreSQL 等重型基础设施。

相关

  • 项目
  • 项目
  • 项目
  • 项目