cyber-xiaoya/cyber-xiaoya-live

赛博小雅直播版 · 组件版数字人（Vidu s2）· 免费开源 AGPL-3.0 · 作者：天工开帧（抖音/B站/YouTube 同名）

赛博小雅直播版（Cyber Xiaoya Live）—— 一言で説明

これは無料でオープンソースの「デジタルヒューマンライブ配信」ソフトウェアスイートです。ブラウザで仮想キャラクター（デジタルヒューマン）を操作でき、視聴者が弾幕を送ったり、あなたがタイピングやリクエスト曲を送ると、デジタルヒューマンが話したり、動作をしたり、口パクをしたりします。映像は抖音（Douyin）やB站（Bilibili）などのライブ配信プラットフォームに配信できます。

核心ポイント：これは「ダウンロードしてすぐ遊べる」完成品ではありません。 提供されるのはソフトウェア一式（ステージ操作ページ + ローカルブリッジサービス + 弾幕/プレイリスト/録画の全チェーン）ですが、作者自身のキャラクター、音声、人格、アクションライブラリ、楽曲ライブラリ、およびAPIキーは一切含まれていません。これらはすべて自分で準備する必要があります。READMEによると、手順に従えば約1時間で動作させられます。

実際に何ができるのか

READMEの実写スクリーンショットとデモから：

視聴者がライブ配信で弾幕を送る（例：「サングラスを出してかけて」）→ 弾幕がシステムに入る → デジタルヒューマンが実際に「サングラスを出してかける」という動作を実行
デジタルヒューマンは同時に話します。セリフはLLM（大規模言語モデル）が生成し、ローカルのTTS（テキスト読み上げ）で音声を合成します
配信者側には「ステージページ」（ローカルWebページ）があり、左側にデジタルヒューマンの映像 + リアルタイム字幕、右側にクイックコマンド、リクエスト曲プレイリスト、参照画像パネル、下部にチャット入力、アクション直接送信、中断、設定などがあります

どのように動作するのか

READMEにはアーキテクチャ図があり、平易に説明すると：

ブラウザステージページ ──テキスト──▶ ローカルブリッジ(FastAPI) ──▶ Viduクラウド(デジタルヒューマン映像レンダリング)
     ▲                                        │
     │                                   LLMがセリフ生成 → TTSが音声合成 → 音声ストリーム
     └──── 映像を購読 ◀──────────────────── Viduが口パク+動作をレンダリング

Vidu（クラウドサービス）は「映像に変換」だけを担当：テキストと音声を渡すと、デジタルヒューマンの口パク、表情、動作をレンダリングし、配信します
それ以外はすべて自分のコンピュータで実行：LLMは「思考」（セリフ生成）、TTSは「発声」、弾幕処理、リクエスト曲、録画ダウンロードを担当
ステージページはローカルWebページ（http://127.0.0.1:8795/stage）で、パブリックネットワークは不要です

なぜこの設計か：クラウドの音声認識/LLM/TTSパッケージを購入する必要がなく、コストはViduのレンダリング料金（秒単位、1クレジット/秒）のみです。音声、人格、プレイリストはすべて自分の手元にあり、第三者を経由しません。

準備が必要なもの（必須）

項目	説明
Windows 10/11 + NVIDIA GPU（VRAM ≥8GB）	レンダリングはクラウドですが、TTSはローカルで実行
Viduアカウント + APIキー	デジタルヒューマンのレンダリングと配信、秒単位課金（1クレジット/秒）、残高 <45クレジットでは開始不可
LLM APIキー（DeepSeekまたは任意のOpenAI互換）	デジタルヒューマンの「頭脳」、セリフ生成
TTSサービス（OmniVoice）	ローカルで実行、WSL2 + CUDAが必要、そうでないと音声なし
ffmpeg	音声デコードはすべてこれを使用

オプション：弾幕コレクター（インストールしないと手動タイピングのみ）、リクエスト曲ライブラリ、カメラ/配信ソフトウェア（OBSなど、映像をプラットフォームに配信する場合のみ必要）。

準備手順の概要

Viduアカウント：登録、チャージ、「キャラクター」を作成（正面写真または動画をアップロード）、avatar_idを取得。オプションでアクションライブラリを作成しlibrary_idを取得。APIキーを生成（形式：vda_xxx）
LLM APIキー：デフォルトはDeepSeek。キーをテキストファイルに保存し、パスを設定に記入
ローカル環境：Python 3.12 + uvで依存関係をインストール + ffmpeg
TTS（最も詰まりやすいステップ）：プロジェクトはOmniVoiceのみ対応。推奨はWSL2（WindowsのLinuxサブシステム）でOmniVoiceサービスを実行。NVIDIAドライバ + 少なくとも8GBの利用可能VRAMが必要（作者の実測では安定して約11GB使用）。音声ソース：属性「デザイン」音声（参照音声不要）または自分の録音をクローン（3〜10秒、単文、16kHzモノラル、背景音なし）
（オプション）弾幕接続：付属リポジトリ「赛博小雅·弾幕コレクター」（抖音/B站/YouTube/视频号対応）を使用するか、自分でコレクターを書き、固定形式でブリッジの/api/danmakuエンドポイントにHTTPリクエストを送信
（オプション）リクエスト曲プレイリスト：mp3/flac/wavファイルをaudio/ディレクトリに置くだけ
config.jsonを設定：Viduキー、キャラクターID、アクションライブラリID、LLMキーパス、人格プロンプト（必ず自分用に変更）、TTSアドレス、音声ディレクトリなどを記入
起動：python -m src.mainを実行するか、ワンクリックスクリプトをダブルクリックし、ステージページを開き、「接続開始」をクリックし、5〜15秒待つと映像が表示されます。接続すると課金が始まるので、テスト後は必ず切断

ステージページでできること

中央：デジタルヒューマン映像 + 字幕 + アクションコマンドエフェクト
下部入力ボックス：タイピングで会話（LLM → TTS → 発話）
🎬 直接送信：アクションコマンドをLLMを介さずViduに直接送信
🕹 クイックコマンド：クリックで送信。編集、ドラッグ並べ替え、名前変更、新規作成可能
🎵 リクエスト曲プレイリスト：曲を再生（歌詞字幕付き）
🖼 参照画像：衣装変更 / 商品を持つ / 背景変更
⏺ 自動録画：Viduサーバーにこのセッションを録画させ、再生終了後に自動でローカルにダウンロード
⚙ 設定：音声、オープニングメッセージ、字幕位置、ブラックリストワードなど

リポジトリに意図的に含まれていないもの

READMEに明記（「ダウンロード後に動かない」を防ぐため）：

❌ キャラクター（画像/動画/キャラクターモデル）—— 自分でViduにアップロードする必要あり
❌ クローン音声（参照音声、音声モデル）
❌ 人格プロンプト本文、コピー、プレイリスト、アクションライブラリ内容
❌ いかなるAPIキー、Cookie、アカウント資格情報
❌ OmniVoiceモデルウェイト（数GB）、Python依存環境（2GB+）、楽曲ライブラリ音声
❌ 弾幕コレクター（別プロジェクト）

これは隠し事ではありません：キャラクター、音声、人格は各配信者自身のものであり、またこのプロジェクトを二次販売することを防ぐ境界でもあります。コードは完全ですが、欠けているのは「あなた自身のコンテンツ」です。

ライセンスと著作権

コード：GNU AGPL-3.0
素材とブランド：NOTICEファイルを参照、AGPLの範囲外
サードパーティ依存関係はrequirements.txtを参照

重要な注意

永久無料オープンソース、唯一の公式ソースはGitHubリポジトリ。有料販売、代行ダウンロード、代行デプロイはすべて未承認
公式QQグループ、WeChatグループはなく、有料講座やインストールサービスも販売していません。「公式サポートグループ」「内部版」「ライセンス版」「代行デプロイ」などの名目で料金を請求するものはすべて偽物です
作者：天工开帧、抖音、B站、YouTube、ブログなどでフォロー可能
プロジェクトの問題は優先的にGitHub Issueに報告（公開で確認可能）

よくある質問

Viduに接続できない / 401：APIキーが正しいか、残高が≥45クレジットか確認
音声が出ない：99%はTTSが起動していない。まずcurlでOmniVoiceサービスが動作しているか確認
WSL2再起動後に接続できない：IPが変わった。新しいIPを確認して設定を変更
映像がカクつく / 遅延が大きい：TTSとレンダリングがVRAMを奪い合う。OmniVoiceの--graph-bucketsパラメータを減らす
別のTTSに変更できるか：コードは現在OmniVoiceのみ実装。他を接続するには自分でアダプタ層を書く必要あり

一言まとめ：これは「デジタルヒューマンライブ配信」のオープンソースソフトウェアスイートで、コードは完全で無料ですが、キャラクター、音声、人格、APIキーを自分で準備する必要があります。READMEに従えば約1時間で動作させられます。