jianchang512/pyvideotrans

pyVideoTrans – 빠른 개요

무엇을 할 수 있나요 pyVideoTrans는 한 언어의 영상을 자동으로 다른 언어의 버전으로 변환할 수 있는 오픈소스 Python 애플리케이션입니다. AI 기반의 세 단계를 연결하여 작동합니다:

음성-텍스트 변환 (ASR) – 원본 오디오에서 대본을 추출합니다.
기계 번역 – 해당 대본을 대상 언어로 번역합니다.
텍스트-음성 (TTS) 더빙 – 새로운 오디오 트랙을 합성(각 화자에 대해 다른 목소리 가능)하고 원본 영상과 재결합합니다.

이 도구는 다음 기능도 지원합니다:

화자 구분 기능이 있는 배치 자막 생성(SRT 형식).
더 자연스러운 더빙 목소리를 위한 음성 클론 모델.
GUI(웹UI/데스크톱) 및 명령줄 인터페이스(CLI)로 자동화 또는 서버 측 사용 가능.
로컬 모델(Faster-Whisper, F5-TTS 등)을 사용한 오프라인 작동 또는 클라우드 API(OpenAI, Azure, Google 등) 사용.

핵심 기능 (README에 설명됨)

기능	세부 정보
한 번의 클릭으로 영상 번역	ASR → 번역 → TTS → 영상 합성까지 하나의 워크플로우로 처리.
오디오 대본 생성 / 자막 생성	배치 처리로 SRT 형식으로 변환 가능. 화자 구분 지원.
다중 역할 AI 더빙	각 화자에게 다른 합성 목소리 할당 가능.
음성 클론	F5-TTS, CosyVoice, GPT-SoVITS 통합으로 제로샷 클론 가능.
모델 지원	• ASR: Faster-Whisper(로컬), OpenAI Whisper, Alibaba Qwen, ByteDance Volcano, Azure, Google 등 • 번역: DeepSeek, ChatGPT, Claude, Gemini, MiniMax, Ollama(로컬), Alibaba Bailian 등 • TTS: Edge-TTS(무료), OpenAI, Azure, MiniMax, ChatTTS 등
인터랙티브 편집	어느 단계에서든 일시정지하여 대본, 번역, 더빙을 수동으로 수정 가능.
유틸리티 툴킷	음성 분리, 동영상/자막 병합, AV 동기화, 대본 매칭.
CLI	배치 작업 또는 서버 배포용 헤드리스 작동.
WebUI	브라우저 기반 인터페이스(Gradio)로 원격 또는 내부 네트워크 사용 가능.
Docker	공식 Dockerfile로 컨테이너 배포 가능.
GPU 가속	NVIDIA CUDA 12.8 + cuDNN 9.11; AMD는 옵션으로 Whisper.NET 사용 가능.

시작하기

Windows (사전 패키지)

Releases 페이지에서 최신 릴리스를 다운로드.
중국어 문자나 공백이 없는 폴더에 압축 해제.
sp.exe 실행. GPU 사용 시 CUDA/cuDNN 설치 필요.

소스 설치 (macOS / Linux / Windows 개발자용)

Python 3.10+, FFmpeg, 및 uv(빠른 패키지 매니저) 설치.

리포지토리 복제 및 종속성 동기화:

git clone https://github.com/jianchang512/pyvideotrans.git
cd pyvideotrans
uv sync   # 선택적 채널 사용 시 --all-extras 추가

실행:
- GUI: uv run sp.py
- CLI: uv run cli.py … (자세한 옵션은 docs/cli.md 참조)
- WebUI: uv run webui.py
- Docker: docker build -t pyvideotrans-webui . && docker run -d -p 7860:7860 pyvideotrans-webui

일반적인 사용 사례

수동 자막 작업 없이 튜토리얼, 웨비나, 팟캐스트의 다국어 버전을 제작하고 싶은 콘텐츠 크리에이터.
지역 간 교육 또는 준수를 위한 기업 내부 영상 번역이 필요한 기업.
음성 클론 또는 다중 화자 더빙 파이프라인을 실험하고 싶은 연구자/애호가.
CLI 또는 Docker 컨테이너를 통해 대규모 영상 라이브러리의 배치 처리.

제한 사항 및 고려 사항

품질은 선택한 ASR, 번역, TTS 모델에 크게 의존합니다. 오프라인 모델은 느릴 수 있지만 데이터를 비공개로 유지할 수 있습니다.
일부 기능(예: AMD GPU용 Whisper.NET)은 추가 설정이 필요합니다.
소프트웨어는 GPL-v3 라이선스이며, 재배포 시 호환되는 조건 하에 오픈소스여야 합니다.
제3자 API(예: OpenAI, Azure 등) 사용 시 해당 이용 약관 준수는 사용자 책임입니다.

더 많은 정보 찾기

공식 문서: https://pyvideotrans.com (튜토리얼, API 설정, FAQ)
커뮤니티 Q&A: https://bbs.pyvideotrans.com (에러 로그 분석, 팁)
GitHub 위키: 아키텍처, 번역기 확장 방법, CLI/WebUI 문서.
스폰서 링크: Recall.ai(회의 음성 인식 API)와 Infistar(다중 모델 게이트웨이)는 선택적 API 사용을 위해 언급됨.

TL;DR

pyVideoTrans는 음성 인식, 기계 번역, 음성 합성(음성 클론 포함)을 통합한 풀스택 오픈소스 영상 번역 툴킷입니다. 사용하기 쉬운 GUI, WebUI, CLI, Docker 컨테이너로 제공되며, 로컬 모델과 다양한 클라우드 API를 지원하여 누구나 자동 다국어 더빙 또는 자막 생성이 가능합니다.