avaturn-live/avtr-1

AVTR‑1 – 실시간 토킹 아바타 모델

개요 – AVTR‑1은 플로우 매칭 기반의 자기회귀 신경망으로, 인물 사진과 두 개의 오디오 스트림(발화 + 청취)을 입력받아 25fps의 립싱크 아바타 영상을 생성합니다. 저장소에는 모델 가중치, TensorRT 가속 추론 코드, 로컬 실행 또는 API로 배포 가능한 데모용 백엔드가 포함되어 있습니다.

주요 기능

실시간 대화 – 발화와 능동적 청취 제스처를 실시간으로 렌더링(5프레임 청크당 약 200ms).
단일 GPU 배포 – CUDA 12 및 TensorRT 10을 지원하는 Ampere 이상의 NVIDIA GPU에서 작동합니다.
다중 화자 지원 – 각 아바타에 개별 음성 트랙을 제공하고 상대방을 '청취' 스트림으로 입력하여 2인 대화의 양쪽을 모두 생성할 수 있습니다.
유휴 동작 – 오디오 입력이 없을 때도 자연스러운 얼굴 움직임을 생성합니다.
생산 준비 완료 도구 – 가중치 다운로드, GPU 전용 TensorRT 엔진 빌드, 인터랙티브 웹 데모 실행을 위한 스크립트 제공.

사용 방법

경량 패키지 관리자 pixi를 설치합니다 (curl -fsSL https://pixi.sh/install.sh | sh).

저장소를 복제하고 의존성을 설치합니다:

git clone https://github.com/avaturn-live/avtr-1.git
cd avtr-1
pixi install

모델 가중치를 다운로드합니다(HuggingFace 로그인 필요):
```
pixi run download
```

GPU용 TensorRT 추론 엔진을 빌드합니다:

pixi run build‑trt‑engines   # 또는 각 구성 요소별 명령어

브라우저에서 인터랙티브 스트리밍 데모를 실행합니다:
```
pixi run interactive-demo
```
오프라인 렌더링은 제공된 CLI를 사용할 수 있습니다(예):
```
pixi run generate_offline --speech example/speaker_1.ogg --avatar elena --out elena.mp4
```
(--speech/--listen 인수를 교체하여 대화의 상대방을 렌더링할 수 있습니다.)

성능 스냅샷(5프레임 청크의 지연 시간, 25fps 출력):

GPU	지연 시간	실시간 계수
L40	84 ms	2.4×
A100	91 ms	2.2×
RTX 4060 Ti	166 ms	1.2×
RTX 3070	181 ms	1.1×
L4	202 ms	0.99×
RTX 3060 Ti	206 ms	0.97×
RTX 4060	232 ms	0.86×
계수가 1 이상이면 GPU가 25fps 스트림을 따라갈 수 있음을 의미합니다.

선택적 TURN 서버 – 라이브 데모는 WebRTC를 사용합니다. UDP가 네트워크를 통과할 수 없는 경우, README에서 Cloudflare의 무료 Realtime TURN 서비스(또는 표준 TURN 서버)를 작은 .env 파일로 설정하는 방법을 설명합니다.

라이선스

모델 및 스크립트 – "AVTR‑1 커뮤니티 라이선스"(연 매출 1,000만 달러 미만 기업은 상업적 이용 가능. 그 이상은 상업적 계약 필요).
렌더러 – PolyForm 비상업적 라이선스 1.0.0(상업적 이용 시 별도 라이선스 필요).
스트리머 백엔드 – PolyForm 비상업적 라이선스 1.0.0(고지 의무 및 특허 조항 포함. 상업적 이용 시 별도 라이선스 필요).
타사 구성 요소 – InsightFace의 얼굴 감지/랜드마크 모델은 연구용으로만 제한됩니다. 상업적 배포 시 InsightFace로부터 라이선스를 취득하거나 허용적인 라이선스를 가진 대체품으로 교체해야 합니다.

추가 정보

프로젝트 페이지 및 라이브 데모: https://avaturn.live
HuggingFace 모델 가중치: https://huggingface.co/avaturn-live/avtr-1
상업적 문의: hello@avaturn.me

결론 – AVTR‑1은 라이브 스트리밍이나 영상 생성 파이프라인에 통합 가능한, 즉시 사용 가능한 GPU 가속 아바타 시스템입니다. 인터랙티브 및 오프라인 사용에 대한 명확한 지침이 제공됩니다. 저장소는 잘 구조화되어 있으며, 성능 수치가 공개되어 있고 사용자가 준수해야 할 라이선스 제한 사항이 문서화되어 있습니다.

avaturn-live/avtr-1

AVTR‑1 – 실시간 토킹 아바타 모델

관련