jianchang512/pyvideotrans

pyVideoTrans – 速報

何ができるか pyVideoTransは、オープンソースのPythonアプリケーションで、ある言語の動画を自動的に別の言語のバージョンに変換できます。3つのAI駆動のステップを連鎖させます：

音声認識（ASR） – 元の音声から字幕を抽出します。
機械翻訳 – その字幕を目的言語に翻訳します。
音声合成（TTS）ダブリング – 新しい音声トラック（各話者に異なる声を割り当て可能）を合成し、元の動画と再結合します。

このツールは以下の機能もサポートしています：

スピーカーの区別を伴うバッチ処理による字幕生成（SRT形式）。
より自然なダブリング音声を実現するための音声クローンモデル。
GUI（WebUI/デスクトップ）とコマンドラインインターフェース（CLI）で、自動化やサーバー側での利用が可能。
ローカルモデル（例：Faster-Whisper、F5-TTSなど）によるオフライン動作 または クラウドAPI（OpenAI、Azure、Googleなど）の利用。

コア機能（READMEに記載）

機能	詳細
ワンクリック動画翻訳	ASR → 翻訳 → TTS → 動画合成を1つのワークフローで実行。
音声認識 / 字幕生成	バッチ処理でSRT形式に変換可能。スピーカーの区別もサポート。
マルチロールAIダブリング	各話者に異なる合成音声を割り当て可能。
音声クローン	F5-TTS、CosyVoice、GPT-SoVITSを統合し、ゼロショットクローンを実現。
モデル対応	• ASR: Faster-Whisper（ローカル）、OpenAI Whisper、Alibaba Qwen、ByteDance Volcano、Azure、Googleなど • 翻訳: DeepSeek、ChatGPT、Claude、Gemini、MiniMax、Ollama（ローカル）、Alibaba Bailianなど • TTS: Edge-TTS（無料）、OpenAI、Azure、MiniMax、ChatTTSなど
インタラクティブ編集	任意の段階で一時停止し、字幕、翻訳、ダブリングを手動で修正可能。
ユーティリティツールキット	音声分離、動画/字幕のマージ、AV同期、字幕マッチング。
CLI	バッチジョブやサーバー展開向けのヘッドレス動作。
WebUI	ブラウザベースのインターフェース（Gradio）でリモートまたは内網利用可能。
Docker	オフィシャルDockerfileでコンテナ化デプロイが可能。
GPU加速	NVIDIA CUDA 12.8 + cuDNN 9.11；AMDはオプションでWhisper.NETを利用。

使い始め方

Windows（事前パッケージ版）

Releasesページから最新リリースをダウンロード。
中国語やスペースを含まないフォルダに解凍。
sp.exe を実行。GPU使用にはCUDA/cuDNNのインストールが必要。

ソースインストール（macOS / Linux / Windows開発者用）

Python 3.10+、FFmpeg、およびuv（高速パッケージマネージャ）をインストール。

リポジトリをクローンし、依存関係を同期：

git clone https://github.com/jianchang512/pyvideotrans.git
cd pyvideotrans
uv sync   # オプションチャンネルを有効にするには --all-extras を追加

起動方法：
- GUI: uv run sp.py
- CLI: uv run cli.py …（詳細は docs/cli.md を参照）
- WebUI: uv run webui.py
- Docker: docker build -t pyvideotrans-webui . && docker run -d -p 7860:7860 pyvideotrans-webui

一般的な利用シーン

手動字幕作成なしで、チュートリアル、ウェビナー、ポッドキャストの多言語版を制作したいクリエイター。
異なる地域での研修やコンプライアンス対応に必要な社内動画翻訳を必要とする企業。
音声クローンやマルチスピーカーダブリングパイプラインを実験したい研究者や趣味の開発者。
CLIまたはDockerコンテナを用いた大規模動画ライブラリのバッチ処理。

制限事項と注意点

質量は選択したASR、翻訳、TTSモデルに大きく依存。オフラインモデルは遅い可能性があるが、データのプライバシーを確保できる。
一部の機能（例：AMD GPU用のWhisper.NET）は追加の設定が必要。
ソフトウェアはGPL-v3ライセンス。再配布する場合は、互換性のある条件でオープンソースである必要がある。
サードパーティAPI（例：OpenAI、Azureなど）の利用に際しては、それらの利用規約に準拠する責任はユーザーにあります。

詳細情報の入手先

公式ドキュメント: https://pyvideotrans.com（チュートリアル、API設定、FAQ）
コミュニティQ&A: https://bbs.pyvideotrans.com（エラーログ分析、ヒント）
GitHub Wiki: アーキテクチャ、翻訳器の拡張方法、CLI/WebUIドキュメント。
スポンサーリンク: Recall.ai（会議音声認識API）とInfistar（マルチモデルゲートウェイ）は、オプションのAPI利用として紹介されています。

TL;DR

pyVideoTransは、音声認識、機械翻訳、音声合成（音声クローンを含む）を統合したフルスタックのオープンソース動画翻訳ツールキットです。GUI、WebUI、CLI、Dockerコンテナとして使いやすく、ローカルモデルと幅広いクラウドAPIをサポートしており、誰もが自動多言語ダブリングや字幕生成を実現できるようになっています。