Agions/splicr

해결하는 문제

splicr는 숏폼 드라마 제작자, 영화 리뷰어 및 소셜 미디어 스토리텔러를 위해 설계된 전문적인 AI 기반 비디오 내레이션 및 해설 생성 엔진입니다. 영상 소스 분할, 매력적인 대본 작성, 클론 음성 합성 및 오디오와 비디오 동기화라는 지루한 과정을 자동화하여, 최종적으로 CapCut에서 바로 편집할 수 있는 프로젝트 파일을 내보냅니다.

작동 방식

이 시스템은 파이프라인에서 협업하는 6개의 전문적인 AI 에이전트로 구성된 Rust 네이티브 멀티 에이전트 아키텍처를 활용합니다:

1. Director Agent: 전역 작업 계획을 관리하고 다른 에이전트를 조정합니다.
2. Visual Critic Agent: FFmpeg를 사용하여 장면을 감지하고 다중 모달 키프레임을 추출하여 감정적 절정을 분석합니다.
3. Screenwriter Agent: 1인칭 독백과 "골든 훅"(처음 0-3초)을 작성하며, 리플렉션 루프를 사용하여 잠재적인 시청자 유지율을 평가합니다.
4. Voice Artist Agent: Edge-TTS 또는 GPT-SoVITS와 같은 도구를 사용하여 음성 클로닝 및 합성을 처리합니다.
5. Sound Engineer Agent: 밀리초 단위의 정밀도로 5트랙 타임라인에 오디오와 비디오를 정렬하고 BGM 더킹을 관리합니다.
6. Quality Reviewer Agent: 금지어를 스캔하고 최종 타임라인의 무결성을 전달하기 전에 검증합니다.

대상

• 숏폼 드라마 제작자
• 영화 및 TV 프로그램 해설 채널
• 스토리텔링에 중점을 둔 소셜 미디어 콘텐츠 제작자

하이라이트

• 네이티브 통합: Rust, Tauri 2 및 React 19로 구축된 고성능 데스크톱 경험.
• 다중 LLM 지원: Qwen, DeepSeek, OpenAI, Claude, Gemini를 포함한 11개의 주요 제공업체 및 Ollama/LMStudio를 통한 로컬 모델과 호환됩니다.
• 전문적인 내보내기: CapCut에 네이티브로 가져올 수 있는 .draft 파일을 직접 생성합니다.
• 고정밀도: 밀리초 수준의 오디오-비디오 정렬 기능(오차 < 18ms).
• 음성 클로닝: 제로샷 음성 클로닝을 지원하여 사실적인 내레이션을 구현합니다.