louisedesadeleer/clipify

해결하는 문제

Clipify는 인터뷰나 팟캐스트와 같은 긴 형식의 동영상을 짧고 소셜 미디어에 바로 사용할 수 있는 클립으로 변환하는 도구입니다. 사용자의 로컬 머신에서 세그먼트 선택, 리프레이밍 및 자막 작업 프로세스를 자동화하여 비싼 SaaS 도구나 느린 수동 편집의 필요성을 없앱니다.

작동 방식

Claude Code의 스킬으로서 Clipify는 Whisper를 사용하여 동영상을 전사하고 오디오 피크 및 전사 분석을 기반으로 임팩트 있는 세그먼트를 식별합니다. 가로 동영상에서 세로 클립을 만들기 위해 모션 에너지 접근 방식을 사용합니다. 샘플 프레임에서 화자의 입과 턱 영역을 식별하고 ffmpeg을 사용하여 해당 영역의 모션 에너지를 추적하여 누가 말하고 있는지 판단합니다. 그런 다음 활성 화자를 따라 하드 컷 팬을 만들거나 분할 화면 보기를 만듭니다. 마지막으로 ASS 자막을 사용하여 단어별 캡션을 동영상에 구워 넣습니다.

대상 독자

TikTok 및 LinkedIn과 같은 플랫폼용으로 클라우드 API를 사용하지 않고 빠르게 클립을 생성하려는 팟캐스터 및 인터뷰어와 같이 토킹 헤드 대화 콘텐츠를 제작하는 콘텐츠 크리에이터.

하이라이트

• 로컬 처리: 클라우드 API 없이 완전히 사용자의 머신에서 실행됩니다.
• 자동 세그먼트 발견: 전사 및 오디오 분석을 기반으로 클립 가치가 있는 3-5개의 후보를 제안합니다.
• 자동 리프레이밍: 복잡한 얼굴 감지 모델 대신 모션 에너지 추적을 통해 화자를 따라 16:9 동영상을 9:16으로 변환합니다.
• 사용자 정의 가능한 자막: opus 스타일의 단어별 하이라이트를 포함한 여러 캡션 스타일을 지원합니다.