debpalash/VoiceStudio

VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription & audiobook creation in 646 languages.

VoiceStudio – オープンソースの音声クローンおよび音声生成デスクトップアプリ

何ができるのか(平易な言葉で)

VoiceStudioは、自分のコンピュータ上で合成音声を作成できるデスクトップアプリケーション(Electron製)です。すぐに使える音声クローンエンジン(デフォルトではk2-fsaプロジェクトの OmniVoice モデル)が同梱されており、4つの主要なタスクのためのグラフィカルインターフェースを提供します。

タスク 見た目 / 行うこと 一般的なユースケース
音声クローン 話者のクリアな録音を読み込み、名前を付け、話させたいテキストを入力して Generate をクリックします。 ナレーション、吹き替え、または個人的なプロジェクトのために、許可を得た上で特定の人物の声を再現する。
音声デザイン 自然言語で声の特徴(例:「温かみのある、低音、フレンドリー」)を記述し、エンジンに全く新しい声を合成させます。 ブランド固有の音声アバターやキャラクターのラピッドプロトタイピング。
ビデオ吹き替え ビデオをインポートし、字幕を調整し、タイミングに合わせた音声を生成します。 アプリを離れることなく、ビデオのローカライズやオーディオオーバーレイの作成を行う。
ディクテーション / 文字起こし / オーディオブック フローティングウィジェットが音声入力をキャプチャします。また、長いテキストをバッチ処理してオーディオブック形式のファイルに変換することもできます。 書かれたコンテンツを音声メディアに変換したり、ハンズフリーでメモを取ったりする。

UIにはモデルマネージャーも含まれており、さまざまな音声モデル(異なる言語、品質レベル、またはオープンソースのバックエンド)をダウンロード、インストール、切り替えできます。すべての処理はデバイス上で完結させることが可能です。より高速な推論を求めるユーザーや、重いモデルをローカルで実行したくないユーザー向けに、オプションのリモートサービスも提供されています。

どのような人向けか?

  • コンテンツクリエイター:クラウドTTSサービスに料金を支払うことなく、ナレーション、ボイスオーバー、多言語吹き替えを追加したい方。
  • 開発者 / AIエージェント:ローカルの音声認識(STT)や音声合成(TTS)エンドポイントが必要な方。VoiceStudioは、ボットや自動化ツールとの統合のためにローカルHTTP APIおよびMCP (Message-Control-Protocol) インターフェースを公開しています。
  • 研究者やホビーユーザー:個人のワークステーションで音声クローン、音声デザイン、多言語音声合成を実験したい方。
  • 小規模チーム:商用SaaS TTSプラットフォームに代わる、プライバシーを保護したセルフホスト型の代替手段を必要としている方。

実行方法(クイックスタート)

  1. ワンラインインストーラー – macOS/Linuxの場合:
    curl -fsSL https://voicestudio.sh/install | sh
    
    Windowsの場合(PowerShell):
    irm https://voicestudio.sh/install | iex
    
    このスクリプトはOSを検出し、適切なElectronバイナリ(.dmg、.exe、.AppImage、または .deb)をダウンロードし、SHA-256チェックサムを検証してアプリをインストールします。既存のプロジェクトやモデルファイルは保持されます。
  2. ソースからのビルド(オプション) – 最新のコードを使用したい場合や、バックエンドを調整したい場合:
    git clone https://github.com/debpalash/VoiceStudio.git
    cd VoiceStudio
    bun install               # JavaScript/TypeScriptの依存関係
    bun run setup:api         # Pythonの依存関係(PyTorch、モデルコード)をプル
    bun run dev               # 開発モードでElectron UIを起動
    
    このリポジトリは、フロントエンドに Bun(高速なJavaScriptランタイム)、バックエンドに Python(小さなAPIサーバー経由)を使用して重い音声モデルを処理します。
  3. モデルの選択 – 初めてクローンや吹き替えを試す際、モデルのダウンロードを求められます。モデルはローカルに保存され、Model Manager パネルから切り替え可能です。
  4. ワークフローの開始 – Voice cloning ワークスペースを開き、参照オーディオファイルを追加し、テキストを入力して Generate をクリックします。

技術的な特徴

  • マルチエンジンアーキテクチャ – VoiceStudioはデフォルトでOmniVoiceを搭載していますが、互換性のあるオープンソースのTTS/音声クローンエンジン(VITS、FastSpeechなど)を読み込むことができます。docs/feature-catalog.md の エンジンカタログ に、サポートされているバックエンドとその言語対応状況(合計で最大 646言語)が記載されています。
  • ハードウェアアクセラレーション – NVIDIA GPUではCUDAを使用し、Apple SiliconではMetal (MPS) を活用します。GPUがない場合は、軽量なCPU専用のPyTorchビルド(約5GB)が自動的にインストールされます。
  • ローカルAPI & MCP – UIに加えて、アプリは /synthesize、/clone、/list-models などのエンドポイントを公開する小さなHTTPサーバーを実行します。MCPプロトコルにより、他のプロセス(チャットボットなど)がコマンドを送信してオーディオストリームを受信できるため、デスクトップを離れることなくAIエージェントとの統合が可能です。
  • 拡張可能なプラグインモデル – 開発者は docs/engines/README.md に記載されている engine インターフェースに従うことで、新しいエンジンを追加できます。これにより、ニッチな言語モデルや実験的な音声デザイン技術のコミュニティ貢献が促進されます。
  • 責任ある利用のための保護措置 – ライセンス (AGPL-3.0) はオープンですが、READMEでは、音声のクローンには元の話者の許可が必要であることを強調しています。モデルマネージャーには、ダウンロードした各モデルのライセンスレビューへのリンクと出所情報が表示されます。

クラウドサービスとの比較

側面 VoiceStudio (ローカル) クラウドTTS (Azure, Googleなど)
プライバシー すべての音声はマシン内に留まります。リモートワーカーを有効にしない限り、データがデバイスから出ることはありません。 データはプロバイダーのサーバーに送信されます。
コスト モデルの初回ダウンロード(無料)+ 高速推論のためのオプションの有料「リモートワーカー」。 文字数または時間単位の利用料金。
レイテンシ GPUアクセラレーションによりほぼリアルタイム。CPUのみの場合は遅くなりますが、バッチ処理には十分です。 通常は低レイテンシですが、ネットワークの往復によるオーバーヘッドがあります。
カスタマイズ カスタム微調整モデルの読み込み、全く新しい声のデザイン、モデルパラメータの編集が可能です。 プロバイダーが提供するプリセット音声に限定されます。
スケーラビリティ 単一のワークステーション(またはセルフホストサーバー)の計算能力に限定されます。 クラウドで自動的にスケーリングします。

開発者について

このプロジェクトは debpalash (Palash Deb) と貢献者によって保守されています。AGPL-3.0 ライセンスの下でオープンソース化されており、公開されているイシュートラッカー、CI (GitHub Actions)、およびサポート用のDiscordコミュニティがあります。


上記のすべての情報は、リポジトリのREADMEおよびリンクされたドキュメントから直接引用しています。

これを取り上げた記事

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト