avaturn-live/avtr-1

AVTR‑1 – リアルタイム・トーキングアバターモデル

概要 – AVTR‑1は、フローマッチングベースの自己回帰ニューラルネットワークです。ポートレート画像と2つのオーディオストリーム（発話 + 聴取）を入力し、25fpsでリップシンクされたアバター動画を生成します。リポジトリには、モデルの重み、TensorRTで高速化された推論コード、およびローカル実行やAPIとして公開可能なデモ用バックエンドが含まれています。

主な機能

リアルタイム対話 – 発話とアクティブリスニングのジェスチャーをリアルタイムでレンダリング（5フレームのチャンクあたり約200ms）。
シングルGPUデプロイ – CUDA 12とTensorRT 10を搭載したAmpere以降のNVIDIA GPUで動作します。
マルチスピーカー対応 – 各アバターにそれぞれの音声トラックを与え、相手を「リスニング」ストリームとして入力することで、2人対話の両側を生成できます。
アイドルモーション – 音声がない場合でも、自然な顔の動きを生成します。
プロダクション対応ツール – 重みのダウンロード、GPU固有のTensorRTエンジンの構築、インタラクティブなWebデモの実行用スクリプトを提供します。

試用方法

軽量パッケージマネージャー pixi をインストールします (curl -fsSL https://pixi.sh/install.sh | sh)。
リポジトリをクローンし、依存関係をインストールします：
```
git clone https://github.com/avaturn-live/avtr-1.git
cd avtr-1
pixi install
```
モデルの重みをダウンロードします（HuggingFaceへのログインが求められます）：
```
pixi run download
```

GPU用のTensorRT推論エンジンを構築します：

pixi run build‑trt‑engines   # または各コンポーネントごとのコマンド

ブラウザでインタラクティブなストリーミングデモを実行します：
```
pixi run interactive-demo
```
オフラインレンダリングには、提供されているCLIを使用できます（例）：
```
pixi run generate_offline --speech example/speaker_1.ogg --avatar elena --out elena.mp4
```
（--speech/--listen 引数を入れ替えることで、対話の相手側をレンダリングできます。）

性能スナップショット（5フレームチャンクのレイテンシ、25fps出力）：

GPU	レイテンシ	リアルタイム係数
L40	84 ms	2.4×
A100	91 ms	2.2×
RTX 4060 Ti	166 ms	1.2×
RTX 3070	181 ms	1.1×
L4	202 ms	0.99×
RTX 3060 Ti	206 ms	0.97×
RTX 4060	232 ms	0.86×
係数が1以上であれば、GPUは25fpsのストリームに追従可能です。

オプションのTURNサーバー – ライブデモはWebRTCを使用します。UDPがネットワークを通過できない場合、READMEでCloudflareの無料Realtime TURNサービス（または標準的なTURNサーバー）を小さな .env ファイルで設定する方法を説明しています。

ライセンス

モデルとスクリプト – 「AVTR‑1コミュニティライセンス」（年商1000万ドル未満の企業は商用利用可。それ以上の規模は商用契約が必要）。
レンダラー – PolyForm非商用ライセンス 1.0.0（商用利用には別途商用ライセンスが必要）。
ストリーマーバックエンド – PolyForm非商用ライセンス 1.0.0（通知義務と特許条項あり。商用利用には別途ライセンスが必要）。
サードパーティコンポーネント – InsightFaceの顔検出/ランドマークモデルは研究用途限定です。商用デプロイにはInsightFaceからのライセンス取得、または寛容なライセンスを持つ代替品への置き換えが必要です。

詳細情報

プロジェクトページとライブデモ: https://avaturn.live
HuggingFace上のモデル重み: https://huggingface.co/avaturn-live/avtr-1
商用のお問い合わせ: hello@avaturn.me

結論 – AVTR‑1は、ライブストリーミングや動画生成パイプラインに統合可能な、すぐに使えるGPU高速化アバターシステムです。インタラクティブおよびオフライン利用の両方について明確な手順が提供されています。リポジトリは適切に構造化されており、性能数値が公開され、ユーザーが遵守すべきライセンス制限も文書化されています。

avaturn-live/avtr-1

AVTR‑1 – リアルタイム・トーキングアバターモデル

関連