datascale-ai/opentalking

解決的問題

OpenTalking 提供一個完整的開源編排框架，用於建立即時數位人對話。它消除了手動串接語音轉文字（STT）、大型語言模型（LLM）、文字轉語音（TTS）與影片渲染的複雜性，從而實現可互動的說話虛擬形象。

工作原理

此專案作為一個生產級堆疊，管理整個對話流程：前端互動、會話狀態、LLM 回應、語音選擇、中斷控制以及 WebRTC 音影片播放。它支援多種部署路徑，從輕量級的「模擬」模式（用於 API 驗證）到使用 OmniRT 的高品質遠端推論。它整合多種數位人驅動模型（如 QuickTalk、Wav2Lip 和 FlashTalk），根據音訊或文字輸入來驅動虛擬形象的動畫。

適用對象

專為開發者與創作者設計，適用於醫療指導、直播電商、虛擬夥伴、新聞主播等場景，也適合希望探索音訊驅動創作與影片克隆的使用者。

主要亮點

• 可插拔後端：支援廣泛的 LLM、STT 與 TTS 提供商，包括 OpenAI 相容介面。
• 彈性部署：提供 CPU 專用測試、消費級 GPU 本地部署（RTX 3090/4090）以及高品質遠端 GPU/NPU 群集的路徑。
• 全面的工具集：包含用於管理虛擬形象、語音與模型設定的 WebUI，並支援知識庫與角色記憶功能。
• 多樣化的渲染模型：整合多種驅動模型，如注重速度的 QuickTalk、注重可及性的 Wav2Lip，以及適用於影片克隆與高品質創作的 FasterLivePortrait。