linzzzzzz/openclip

What it solves

OpenClip은 라이브 스트리밍이나 토크 영상과 같은 긴 영상에서 가장 매력적인 하이라이트를 식별하고 추출하도록 설계된 경량 자동 영상 처리 파이프라인입니다. 바이럴한 클립을 찾기 위해 몇 시간 분량의 영상을 일일이 확인해야 하는 수동 작업을 없애고, 다운로드부터 전사, AI 기반 분석, 최종 클립 생성까지 모든 과정을 자동으로 처리합니다.

How it works

시스템은 다음과 같은 다단계 파이프라인을 따릅니다:

1. Ingestion: Bilibili, YouTube 또는 로컬 파일을 다운로드합니다.
2. Transcription: 플랫폼 자막 또는 로컬 ASR (영어는 Whisper, 중국어는 Paraformer)을 사용합니다.
3. Analysis: 영상이 20분 이상인 경우 세그먼트로 분할됩니다. LLM (Qwen, OpenRouter, GLM, MiniMax 또는 custom OpenAI-compatible APIs를 통해)이 참여도와 엔터테인먼트 가치를 기준으로 콘텐츠를 분석합니다.
4. Optimization: deep-optimize 모드를 활성화하면 2차 AI 검토 및 경계 수정 단계가 추가되어 클립이 독립적이고 자연스럽게 생성됩니다.
5. Production: 자막, 요약 및 커버 이미지가 포함된 독립적인 영상 클립을 생성합니다. 자막을 영상에 입히거나 스타일리시한 아트 배너를 추가할 수도 있습니다.

Who it’s for

• Content Creators: 긴 라이브 스트리밍이나 팟캐스트를 소셜 미디어용 짧은 클립으로 빠르게 전환하고자 하는 크리에이터.
• AI Agents: Claude Code, TRAE, 또는 Cursor 사용자는 이를 기술(skill)로 사용하여 자연어로 영상을 처리할 수 있습니다.
• Developers: 무거운 Docker-based 영상 처리 도구의 가볍고 커스터마이징 가능한 대안을 것을 찾는 개발자.

Highlights

• Multi-Interface Support: Streamlit web UI, CLI 및 Agent Skill로 사용할 수 있습니다.
• Intelligent Analysis: --user-intent를 지원하여 AI가 특정 주제(예: ""views on AI risk"")를 가이드하도록 합니다.
• Speaker Identification: 참조 오디오 클립을 사용하여 자막에 특정 화자를 라벨링하는 미리보기 기능.
• Flexible Post-Processing: LLM 기반 번역 옵션이 포함된 자막 삽입 및 다양한 예술적 배너 스타일(예: neon, metallic, crystal)을 포함합니다.
• Lightweight Design: Python과 FFmpeg으로 구축되어 Redis나 PostgreSQL과 같은 무거운 인프라를 피합니다.