Vidu S – 실시간 인터랙티브 영상 생성

무엇인가요 – Vidu S는 실시간으로 영상을 생성하고 편집할 수 있는 연구용 시스템입니다. 두 가지 버전이 있습니다:

• Vidu S1 – 540p, 42 FPS 모델로, 사용자가 디지털 캐릭터(실제 인물, 애니메이션, 반려동물 등)에게 음성 명령을 내리면 영상이 즉시 변경됩니다.
• Vidu S2 – 720p, 25–42 FPS로 업그레이드된 엔진으로, 고해상도 아바타를 제어하고, 라이브 스트림을 편집(스타일 전이, 가상 시착, 배경 교체), VR/AR 디스플레이용 동기화 스테레오 스트림을 출력할 수 있습니다.

핵심 기술 아이디어

1. 셀프 리플레이 포싱 – 학습 중 모델이 자체 생성한 프레임(재노이징 후)을 다시 입력하여 장시간 스트림에서 일관성을 학습합니다.
2. TurboDiffusion / TurboServe – 효율적인 어텐션, 저비트 GEMM, 커널 최적화, 멀티 GPU 파이프라인화 등 속도 향상 기술 세트로, 일반 소비자용 GPU에서도 실시간 추론이 가능합니다.
3. 라이브 스트림 편집 – 언제든지 참조 이미지를 교체할 수 있어, 사람의 옷차림, 스타일, 심지어 전체 캐릭터를 교체하면서도 움직임을 유지할 수 있습니다.
4. 공간 영상 – Vidu S2는 몰입형 헤드셋용 왼쪽/오른쪽 눈 시점의 영상을 출력할 수 있습니다.

사용 방법

• 온라인 체험: 호스팅된 데모는 https://www.vidu.com/vidu‑stream 에서 이용 가능합니다.
• API: REST 스타일 API(영어 및 중국어 문서 포함)를 통해 비디오 프레임, 참조 이미지, 텍스트 또는 음성 지시를 전송하고 생성된 스트림을 수신할 수 있습니다.
• 에이전트 통합: Claude‑Code, Codex, OpenClaw 등에 vidu‑s‑api 스킬을 설치하면 에이전트가 Vidu S 서비스를 직접 호출할 수 있습니다.

문서 및 논문

• Vidu S2 논문 – arXiv:2609.11638 (아바타, 편집, 공간 영상 파이프라인을 다룹니다).
• Vidu S1 논문 – arXiv:2607.03118 (음성 제어 생성에 초점을 맞춥니다).
• 전체 사용자 가이드와 빠른 시작 튜토리얼은 Feishu(영어 및 중국어) 및 플랫폼의 API 문서에 호스팅되어 있습니다.

누가 도움을 받을 수 있나요

• 라이브 스트리밍 또는 가상 호스트 플랫폼 개발자 – 실시간 아바타 애니메이션 또는 비디오 효과가 필요한 경우.
• 연구자 – 확산 기반 영상 생성, 장기 일관성, 저지연 추론을 탐구하는 경우.
• 크리에이터 – 사전 렌더링 없이 실시간 가상 시착 또는 배경 교체를 원하는 경우.

인용 – Vidu S를 논문에서 사용할 경우, README에 기재된 두 개의 arXiv 프리프린트를 인용해 주세요.

---

위 모든 정보는 리포지토리의 README에서 직접 가져왔으며, 추가 기능은 추측되지 않았습니다.