AlphaAvatar/AlphaAvatar
A real-time interactive Omni Avatar built on LiveKit, which allows you to seamlessly integrate with any open source Avatar components (real-time model, visual, voice, memory, search, etc.).
解决的问题
AlphaAvatar 提供了一个用于构建可自我托管、以隐私为先的个人AI助手的框架。它使助手能够作为"智能管家"发挥作用。该框架超越了简单的聊天机器人,使代理具备状态保持、主动性和多模态能力,能够记住用户偏好、规划长期任务,并通过语音、文本和视频等多种渠道进行交互。
工作原理
该系统采用基于插件的实时代理架构,通过核心感知层处理多模态观测数据(语音、摄像头、屏幕)。它集成了多个关键模块:
- 记忆与人格:使用图感知的多模态记忆和自动人格提取,以维持身份连续性和用户理解。
- 交互路由:管理实时语音路由、发言轮换和打断。
- 工具集成:通过 MCP(模型上下文协议)、RAG 用于文档检索,以及 DeepResearch 用于网络搜索,连接外部世界。
- 虚拟角色:为实时交互提供助手的视觉表示。
- 基础设施:连接到各种 LLM 提供商和存储后端(如 LanceDB 或 Qdrant),用于向量和身份数据。
适用人群
专为希望拥有高度个性化、可自我托管的AI伴侣的开发者和用户设计,能够管理个人生活指标、组织知识、安排任务,并执行自主的多步骤工作流。
主要亮点
- 隐私优先:完全可自我托管,让用户完全掌控自己的数据和记忆。
- 多模态交互:支持实时语音、文本和摄像头输入,并配有专用的虚拟角色界面。
- 主动规划:包含任务分解、提醒和长期目标执行的模块。
- 可扩展工具:通过 MCP 集成外部 API,通过 RAG 集成个人知识库。
- 多样化的访问渠道:可通过 Web 演示、LiveKit 沙箱以及 WhatsApp 等消息平台使用。
相关
- 项目
KevinLiss/ApeAdminApeAdmin 是一个专为 AI 应用定制的开源 FastAPI + Vue 3 管理框架。它提供 WordPress 风格的安装向导、完整的 RBAC、插件架构以及 MCP-SSE 网关,可将后端函数转化为可由 LLM 代理调用的工具。内置的多模型对话、审计日志和插件市场让您能够快速构建安全的管理 UI,并将业务逻辑暴露给 AI 代理,而无需编写额外的 API。
- 项目
RTGS2017/NagaAgentNagaAgent 是一个跨平台桌面 AI 助手(Windows/macOS/Linux),支持与任何 OpenAI 兼容 LLM 聊天,通过 JSON 块自定义工具调用,使用 Neo4j 存储图-RAG 记忆,集成 Live2D 动画头像,支持语音合成/识别与唇形同步,提供天气、网页搜索、游戏指南等插件的 MCP 框架,以及论坛、技能市场等社区功能。以 Electron/Vue 前端 + Python FastAPI 后端构建,可通过 `uv sync`(或 pip)安装,采用 AGPL-3.0 + 专有商业许可的双重许可。
- 项目
dromara/wgaiWGAI 是一个基于 Spring-Boot + Vue 的 Web 平台,将视觉(OpenCV、YOLO、OCR、人脸识别)、音频(语音转文字、ChatGPT 风格对话)、数字人虚拟形象和 AGV 导航整合为一个离线优先、工业级的 AI 管理系统。提供在线数据标注、模型训练、实时视频/音频分析和系统监控功能,配备配置界面和公共演示实例。代码采用 AGPL-3.0 许可证,支持主要通过付费中文社区提供。
- Dispatch
ChatGPT 插件发布OpenAI 为 ChatGPT 引入了插件,使模型能够访问实时信息、执行计算并与第三方服务集成,以扩展其功能并减少幻觉。
- 项目
lc2panda/alphastreamAlphastream 是一个 AI 驱动的金融分析 Web 应用。它使用 DeepSeek/任何 OpenAI 兼容 LLM 与 LangGraph,运行 14 个专业智能体(技术、基本面、情感、风险等)以及 4 个投资者人格智能体。实时市场数据来自双适配器(AKShare 与 BaoStock),覆盖中国、美国、香港、加密货币和宏观数据源。Next.js + React 前端采用暗色玻璃拟态 UI,包含聊天、仪表板和图表卡片;Flask 后端通过 SSE 流式传输智能体进度。所有服务可通过一条 Docker-Compose 命令启动。