crisng95/flowkit

해결하는 문제

Flow Kit는 Google Flow API를 사용하여 AI 생성 동영상을 종단 간 자동화하는 독립형 시스템입니다. 여러 장면에 걸쳐 시각적 일관성을 유지하는 문제를 해결합니다 — 캐릭터, 장소, 객체가 동영상 전체에서 동일하게 보이도록 하면서, 인증, reCAPTCHA 해결, API 프록시 처리와 같은 반복적이고 번거로운 작업을 자동화합니다.

작동 방식

이 시스템은 Python 기반의 에이전트(FastAPI)가 WebSockets를 통해 Chrome 확장 프로그램과 통신합니다. 이 확장 프로그램은 Google Flow 인터페이스로의 브리지 역할을 하며, 인증 및 API 호출 프록시를 처리합니다.

일관성의 핵심은 참조 이미지 시스템입니다: 사용자는 캐릭터, 장소, 자산 등 '엔티티'를 외형 설명과 함께 정의합니다. 시스템은 각 엔티티에 대해 하나의 참조 이미지를 생성하고, 이를 모든 장면 생성 시 시각적 입력으로 전달함으로써 AI가 다양한 동작과 설정에서도 동일한 얼굴, 옷, 특징을 유지할 수 있도록 합니다.

대상 사용자

모든 프레임이나 프롬프트를 수동으로 관리하지 않고도 고품질이고 일관된 내러티브 동영상을 제작하고 싶은 콘텐츠 크리에이터 및 AI 에이전트를 위한 것입니다.

주요 기능

• 종단 간 파이프라인: 스토리 컨셉과 엔티티 정의부터 참조 이미지, 장면 이미지, 8초짜리 동영상 클립, TTS 내레이션, 최종 결합까지 전 과정을 자동화.
• 시각적 일관성: 수십 개의 장면에 걸쳐 캐릭터와 환경이 안정적으로 유지되는 전용 참조 시스템 사용.
• 자동 브라우저 브리지: Chrome 확장 프로그램이 Google Flow와의 상호작용에서 복잡한 부분(토큰 캡처, reCAPTCHA 해결)을 처리.
• Ops 콘솔: 로컬 React 대시보드를 포함하여 파이프라인 진행 상황 모니터링, AI 생성 장면 검토, 프로젝트 관리 가능.
• AI 에이전트 통합: 다른 AI 에이전트가 전체 동영상 제작 프로세스를 제어할 수 있는 '스킬'(슬래시 명령어) 제공.