xcLee001/SonicVale
一个开源的多角色、多情绪 AI 配音生成平台，支持小说、剧本、视频等内容的自动配音与导出。
何を解決するか
SonicVale (音谷) は、小説、脚本、動画向けのマルチキャラクター・マルチ感情のボイスオーバー作成プロセスを自動化するためのものです。長編コンテンツにおける個々の台詞に声や感情を手動で割り当てる作業を排除します。
仕組み
このプラットフォームは大規模言語モデル（LLM）と音声合成（TTS）エンジンを統合し、テキストを音声に変換します。LLMを使用して台詞を自動的に分割し、役割を割り当て、Index-TTS-2.0エンジンを活用して感情表現豊かな音声合成を行います。ユーザーはテキストをインポートし、キャラクターの声ライブラリを管理し、特定の感情を役割に紐づけ、最終的な出力前に正確な音声編集（例：沈黙の挿入やセグメントの削除）が可能です。
対象ユーザー
複数のキャラクターを含む物語中心のコンテンツに、高品質で感情豊かなAIボイスオーバーが必要なコンテンツクリエイター、著者、動画制作担当者。
主な特徴
- 自動台詞分割: カスタマイズ可能なプロンプトとLLMを使用して、脚本をキャラクターごとの台詞に分解。
- マルチ感情対応: Index-TTS-2.0を統合し、異なるキャラクターに微細な感情トーンを提供。
- キャラクター管理: 複数章にわたって一貫した声の紐づけを維持するための専用役割ライブラリ。
- 精密な音声編集: 手動で音声断片を削除したり、沈黙を挿入してリズムを調整可能。
- 柔軟な統合: OpenAI APIプロトコルに対応する任意のLLMをサポート。
関連
- プロジェクト
jianchang512/pyvideotranspyVideoTransは、音声認識、AI翻訳、音声合成（オプションで音声クローン）を連鎖させるオープンソースのPythonツールです。GUI、WebUI、CLI、Dockerデプロイに対応し、ローカルモデル（例：Faster-Whisper、F5-TTS）またはクラウドAPI（OpenAI、Azure、Googleなど）で動作可能。字幕編集、話者区別、GPU加速などのユーティリティも備えています。
- プロジェクト
QwenAudio/CosyVoiceCosyVoiceは、高品質なゼロショット多言語音声合成およびボイスクローニングを実現するために設計された、高度なLLMベースのテキスト読み上げシステムです。
- プロジェクト
jamiepine/voicebox音声クローン、テキスト読み上げ、システム全体のディクテーションに対応した、オープンソースのローカルファーストAI音声スタジオ。MCP対応AIエージェントとの統合も特徴です。
- プロジェクト
dramaclaw/dramaclawDramaClawは、セルフホスト型でソースコードが利用可能なAI駆動の制作プラットフォームであり、脚本を短編映画に変えます。 ノードベースの「無限キャンバス」（XiaHua）を提供し、画像、動画、音声、3Dセットの自由な生成が可能です。さらに、構造化された「シリーズ」パイプライン（XiaJi）は、原稿を取り込み、エピソードを計画し、脚本を書き、ストーリーボードを作成し、ナレーションを合成し、動画を構成して最終カットを書き出します。 統合されたAIアシスタント（Xia Director）は両方のトラックを操作できます。 システムはDockerで実行され、すべての重いモデル推論をOpenAI互換ゲートウェイ（公式またはカスタム）を介してルーティングし、Elastic 2.0の下でライセンスされており、クレジットバッジの表示を条件に商用利用が許可されています。
- プロジェクト
Xerophayze/TTS-StoryTTS-ストーリーは、マルチボイスオーディオブック作成のためのウェブUIです。スピーカーのタグ付け、ボイスのデザインまたはクローン（Google Gemini Cloudまたは多くのローカルモデルを介して）、TTSジョブのキュー実行、アプリ内でのオーディオレビュー、MP3/M4Bのエクスポートが可能です。20以上のエンジン、GPU/CPU分離、一括ボイスキャスティング、指示されたナレーション、オプションのLLMテキスト準備をサポートします。