ChrisChen667788/wind-comic
Multi-agent AI pipeline that turns one line of text into a finished short-form drama: script, cinematic storyboards, character-consistent video. Provider-agnostic (OpenAI/Claude, MJ, Minimax, Veo/Sora, fal, ComfyUI). MIT.
解決的問題
Wind Comic 是一個多智能體 AI 工作室,旨在將單一行文字轉換為完整的短片戲劇作品。它消除了手動拼接零散 AI 影片片段的需要,透過自動化整個製作流程——包括劇本創作、角色設計、分鏡繪製、配音以及最終影片剪輯——實現一站式工作流程。
如何運作
該系統採用多智能體流水線架構,由專門的 AI 角色(作家、導演、製作人、角色設計師、分鏡藝術家等)透過嚴格的一致性協議交接任務。流程從文字開始,轉化為 JSON,再生成影像,最終輸出 MP4 檔案。關鍵技術特性包括:
- 多引擎編排:整合超過 12 個媒體引擎(如 Kling、MiniMax 和 Veo),支援「多引擎競速」機制,首個高品質片段勝出。
- 導演控制室:提供視覺化介面,可在俯視舞台中放置演員和攝影機,生成精確的佈景指令和佈局草圖。
- 品質循環:自動「視覺審計」重試循環,對評分低於 70 的鏡頭進行重生成,並配備關於寬高比、時長和位元率的健康報告系統。
- 唇形同步流水線:將 TTS 音訊轉換為視覺發音關鍵幀軌道,進行對齊,並透過可插拔引擎(如 wav2lip 或 SadTalker)進行渲染。
- 即時協作:基於 Yjs CRDT 的多人時間軸,支援團隊協同編輯。
適用對象
專為內容創作者、電影人和行銷人員打造,幫助他們無需手動管理多個 AI 工具,即可高效製作高品質的短片電影內容或商業廣告。
主要亮點
- 端到端製作:僅需一個提示,即可生成劇本、角色、分鏡、配音和最終 MP4 檔案。
- 角色一致性:配備「DNA 身份鎖定」功能的角色工作室,支援跨專案重複使用角色。
- 高階導演工具:包含可精確調度的導演控制台和可編輯特定幀而無需重渲染整段鏡頭的片段重拍功能。
- 商業廣告工廠:專為電商廣告設計,支援從 URL 自動生成簡報、鈎子 A/B 測試,以及廣告法規合規性過濾。
- 自帶 LLM:透過環境變數支援接入自訂 LLM 提供商,無需任何程式碼變更。
相關
- 專案
- 專案
- 專案
- 專案
- 專案