crisng95/flowkit

해결하는 문제

Flow Kit는 Google Flow를 사용하여 고품질 AI 비디오 생성을 자동화하도록 설계된 시스템입니다. 브라우저 외부에서 재생할 수 없는 세션 쿠키와 reCAPTCHA 토큰이 필요한 Google Flow 내부 API에 프로그래밍 방식으로 액세스하는 어려움을 해결합니다. 또한 장편 비디오 프로젝트의 여러 장면에서 시각적 일관성(캐릭터 및 위치)을 유지하기 위한 구조화된 파이프라인을 제공합니다.

작동 방식

이 시스템은 WebSocket을 통해 사용자 지정 Chrome 확장 프로그램과 통신하는 FastAPI 기반 Python 에이전트를 사용합니다. 확장 프로그램은 브라우저 브리지 역할을 하여 로그인된 flow.google.com 탭 내에서 직접 RPC 호출(batchexecute)을 실행합니다.

브라우저 브리지 외에도 완전한 제작 파이프라인을 구현합니다:

1. 스토리 및 엔터티: 내러티브와 주요 캐릭터/소품을 정의합니다.
2. 참조 이미지: 각 엔터티에 대해 단일 이미지를 생성하여 시각적 일관성을 보장합니다.
3. 장면 생성: 해당 참조를 기반으로 이미지를 만듭니다.
4. 비디오 클립: 장면 이미지를 모션과 사운드가 포함된 8초 비디오 클립으로 변환합니다.
5. 후처리: 4K 업스케일링, TTS 내레이션, YouTube에 최적화된 썸네일 및 메타데이터가 포함된 최종 비디오로 연결을 처리합니다.

대상 사용자

일관된 캐릭터를 가진 내러티브 중심 AI 비디오 제작을 자동화하려는 AI 비디오 제작자와 개발자, 그리고 제공된 Markdown "스킬"을 사용하여 파이프라인을 구동할 수 있는 AI 코딩 에이전트(Claude Code 또는 Muse 등) 사용자를 위해 구축되었습니다.

하이라이트

• 브라우저 브리지: 라이브 Chrome 탭 내에서 요청을 실행하여 API 제한을 우회합니다.
• 시각적 일관성: 참조 이미지 시스템을 사용하여 캐릭터와 얼굴을 다른 장면에서 동일하게 유지합니다.
• AI 에이전트 통합: AI 코딩 에이전트가 전체 비디오 제작 프로세스를 오케스트레이션할 수 있는 36개의 Markdown 기반 스킬이 포함되어 있습니다.
• 다중 공급자 지원: Google Flow, 별도의 muse2api 게이트웨이 또는 사용자 지정 어시스턴트 워커를 통해 생성을 라우팅할 수 있습니다.
• 운영 콘솔: 파이프라인 진행 상황, KPI 및 장면 수준 검토를 모니터링하기 위한 로컬 React 대시보드.