AlphaAvatar/AlphaAvatar

A real-time interactive Omni Avatar built on LiveKit, which allows you to seamlessly integrate with any open source Avatar components (real-time model, visual, voice, memory, search, etc.).

解决的问题

AlphaAvatar 提供了一个用于构建可自我托管、以隐私为先的个人AI助手的框架。它使助手能够作为"智能管家"发挥作用。该框架超越了简单的聊天机器人,使代理具备状态保持、主动性和多模态能力,能够记住用户偏好、规划长期任务,并通过语音、文本和视频等多种渠道进行交互。

工作原理

该系统采用基于插件的实时代理架构,通过核心感知层处理多模态观测数据(语音、摄像头、屏幕)。它集成了多个关键模块:

  • 记忆与人格:使用图感知的多模态记忆和自动人格提取,以维持身份连续性和用户理解。
  • 交互路由:管理实时语音路由、发言轮换和打断。
  • 工具集成:通过 MCP(模型上下文协议)、RAG 用于文档检索,以及 DeepResearch 用于网络搜索,连接外部世界。
  • 虚拟角色:为实时交互提供助手的视觉表示。
  • 基础设施:连接到各种 LLM 提供商和存储后端(如 LanceDB 或 Qdrant),用于向量和身份数据。

适用人群

专为希望拥有高度个性化、可自我托管的AI伴侣的开发者和用户设计,能够管理个人生活指标、组织知识、安排任务,并执行自主的多步骤工作流。

主要亮点

  • 隐私优先:完全可自我托管,让用户完全掌控自己的数据和记忆。
  • 多模态交互:支持实时语音、文本和摄像头输入,并配有专用的虚拟角色界面。
  • 主动规划:包含任务分解、提醒和长期目标执行的模块。
  • 可扩展工具:通过 MCP 集成外部 API,通过 RAG 集成个人知识库。
  • 多样化的访问渠道:可通过 Web 演示、LiveKit 沙箱以及 WhatsApp 等消息平台使用。

相关

  • 项目
  • 项目
  • 项目
  • Dispatch
  • 项目