Vidu S – 実時間インタラクティブ動画生成

何であるか – Vidu S は、リアルタイムで動画を生成・編集する研究用システムです。2つのバージョンがあります：

• Vidu S1 – 540p、42 FPS のモデルで、ユーザーがデジタルキャラクター（実写人物、アニメ、ペットなど）に声で命令を出し、動画を即座に変更できます。
• Vidu S2 – 720p、25–42 FPS のアップグレード版エンジンで、高解像度アバターの駆動、ライブストリームの編集（スタイル転送、バーチャルトライオン、背景交換）、VR/ARディスプレイ向けの同期ステレオストリーム出力が可能です。

主な技術的アイデア

1. セルフリプレイフォース – 学習中にモデルが自身の生成フレーム（再ノイズ処理後）を再入力することで、長時間にわたる一貫性を学習します。
2. TurboDiffusion / TurboServe – 高効率アテンション、低ビットGEMM、カーネル最適化、マルチGPUパイプライン化といった高速化技術のセットで、エントリーレベルGPUでも実時間推論が可能になります。
3. ライブストリーム編集 – 任意のタイミングで参照画像を交換可能で、人物の服装、スタイル、さらにはキャラクター自体を置き換えながら動きを維持できます。
4. 空間動画 – Vidu S2 は、没入型ヘッドセット向けに左目・右目の視点を出力できます。

使い方

• オンラインで試す：ホストされたデモは https://www.vidu.com/vidu‑stream で利用可能です。
• API：RESTスタイルのAPI（英語・中国語のドキュメント付き）で、動画フレーム、参照画像、テキストまたは音声指令を送信し、生成されたストリームを受信できます。
• エージェント統合：Claude‑Code、Codex、OpenClaw などに vidu‑s‑api スキルをインストールすることで、エージェントが直接 Vidu S サービスを呼び出せます。

ドキュメントと論文

• Vidu S2 論文 – arXiv:2609.11638（アバター、編集、空間動画パイプラインをカバー）。
• Vidu S1 論文 – arXiv:2607.03118（音声制御生成に焦点）。
• フルユーザーガイドとクイックスタートチュートリアルは、Feishu（英語・中国語）およびプラットフォームのAPIドキュメントにホストされています。

誰が恩恵を受けるか

• ライブストリーミングやバーチャルホストプラットフォームの開発者：リアルタイムのアバターアニメーションやビデオエフェクトが必要な場合。
• 研究者：拡散ベースの動画生成、長期間の一貫性、低レイテンシ推論を探索する場合。
• クリエイター：事前レンダリングなしでリアルタイムのバーチャルトライオンや背景置き換えを実現したい場合。

引用 – Vidu S を論文で使用する場合、READMEに記載された2つのarXivプレプリントを引用してください。

---

上記のすべての詳細は、リポジトリのREADMEから直接取得されています。追加機能は推測されていません。