AlphaAvatar/AlphaAvatar

A real-time interactive Omni Avatar built on LiveKit, which allows you to seamlessly integrate with any open source Avatar components (real-time model, visual, voice, memory, search, etc.).

解決的問題

AlphaAvatar 提供一個用於建立可自我主機、以隱私為首要考量的個人AI助理的框架。它讓助理能扮演「智慧管家」的角色。此框架超越了簡單的聊天機器人,使代理具備狀態保持、主動性與多模態能力,能記住使用者偏好、規劃長期任務,並透過語音、文字、影片等多種管道進行互動。

工作原理

該系統採用基於外掛的即時代理架構,透過核心感知層處理多模態觀測資料(語音、攝影機、螢幕)。它整合了多個關鍵模組:

  • 記憶與人格:使用圖感知的多模態記憶與自動人格萃取,以維持身分連續性與使用者理解。
  • 互動路由:管理即時語音路由、發言順序與中斷。
  • 工具整合:透過 MCP(模型上下文協定)、RAG 用於文件檢索,以及 DeepResearch 用於網路搜尋,連接外部世界。
  • 虛擬角色:提供助理的視覺化呈現,以進行即時互動。
  • 基礎設施:連接至各種 LLM 提供者與儲存後端(如 LanceDB 或 Qdrant),用於向量與身分資料。

適用對象

專為希望擁有高度個人化、可自我主機的AI夥伴的開發者與使用者設計,能管理個人生活指標、組織知識、排程任務,並執行自主的多步驟工作流程。

主要亮點

  • 隱私優先:完全可自我主機,讓使用者完全掌控自己的資料與記憶。
  • 多模態互動:支援即時語音、文字與攝影機輸入,並配有專用的虛擬角色介面。
  • 主動規劃:包含任務分解、提醒與長期目標執行的模組。
  • 可擴展工具:整合 MCP 以連接外部 API,並透過 RAG 整合個人知識庫。
  • 多樣化存取管道:可透過 Web 示範、LiveKit 遊樂場,以及 WhatsApp 等即時通訊平台使用。

相關

  • 專案
  • 專案
  • 專案
  • Dispatch
  • 專案