krillinai/KrillinAI

해결하는 문제

KrillinAI는 엔드투엔드 비디오 로컬라이제이션 및 강화 도구입니다. 다양한 언어와 플랫폼용 비디오 번역의 번거로운 과정을 자동화하며, 원본 비디오 다운로드부터 더빙 오디오 생성, 그리고 플랫폼별 레이아웃(가로 및 세로) 생성까지 모든 작업을 처리합니다.

작동 방식

이 도구는 데스크톱 클라이언트, 웹 UI, 또는 명령줄 인터페이스(CLI)를 통해 작동할 수 있는 완전한 파이프라인을 구현합니다. 여러 AI 구성 요소를 통합합니다:

• 음성 인식: Whisper(OpenAI, FasterWhisper, WhisperKit, WhisperCpp) 또는 알리바바 클라우드 ASR를 사용하여 음성을 텍스트로 변환합니다.
• 번역: OpenAI, Gemini, DeepSeek 등 LLM을 활용해 문맥과 자연스러운 의미를 유지하며 자막을 번역합니다.
• 더빙: 알리바바 클라우드, OpenAI, MiniMax의 TTS 서비스 또는 CosyVoice를 사용해 음성 클론 및 오디오 생성을 수행합니다.
• 처리: 자막 동기화, 용어 교체, 다양한 소셜 미디어 형식(TikTok, YouTube, Bilibili 등)에 최적화된 비디오 렌더링을 자동으로 처리합니다.

대상 사용자

• 콘텐츠 제작자: 글로벌 청중을 대상으로 비디오를 로컬라이즈하고 싶지만 수동 작업을 최소화하고 싶은 사람.
• AI 에이전트: CLI와 제공되는 "에이전트 기술"을 통해 번역 및 더빙 파이프라인을 오케스트레이션할 수 있는 자동화 워크플로우를 개발하는 개발자.

주요 기능

• 전 생애 주기 파이프라인: 다운로드, 음성 인식, 번역, 더빙, 렌더링을 하나의 도구로 완전히 커버.
• 에이전트 대응: AI 에이전트가 특정 단계를 호출할 수 있도록 구조화된 CLI와 전용 skills/ 디렉터리를 제공.
• 유연한 배포: Windows, Linux, macOS를 지원하며, 로컬 모델 실행 또는 클라우드 API 사용 옵션 제공.
• 크로스플랫폼 최적화: 자동으로 가로 및 세로 비디오 형식을 생성하고 최적화된 자막 레이아웃을 제공.
• 음성 클론: 알리바바 클라우드 서비스를 통해 사용자 정의 음성 클론 지원.