Code-Amadeus/Amadeus
Real-time multimodal desktop agent evolving toward a persistent AI OS interface (0.17 α).
它解决的问题
语音助手、桌面角色和执行代理通常存在于不同的窗口中:一个负责聊天,一个负责执行,另一个在终端中运行。这使得在长时间任务中很难看到正在发生的事情、需要哪些权限,或者工作是否能在失败后恢复。Amadeus 将这些体验连接成一个循环,使说话或打字、看到具身化角色、委派实际工作以及保持控制都发生在同一个地方。
工作原理
Amadeus 运行一个本地桌面应用和一个本地主机。用户向主聊天角色说话或打字,该角色将任务委派给专门的工作提供者(例如 Pi 用于日常任务,Codex 用于复杂编码,以及浏览器用于管理页面),而不是将每个工具直接提供给聊天模型。语音和角色呈现由专用组件处理:ASR 用于唤醒和对话,TTS 用于合成(包括本地 GPT-SoVITS),以及 SpriteForge 用于带唇形同步和表情的动画角色渲染。一个持久的工作控制平面管理项目、草稿、权限、工件和恢复。架构有意分离权限域:主聊天、工作提供者和 AUIP 应用会话各自具有不同的权限,并且共享的 MCP/技能注册表不能直接由主聊天访问。所有状态、身份和权限都是主机验证的事实,而不是模型叙述。
适用人群
这适用于熟悉构建和运行源代码的开发者和用户。它针对 alpha 阶段(0.17.1 Alpha),需要 Python 3.12、Node.js 和 GPU 用于本地语音模型(或远程服务)。它支持 Windows 作为参考平台,macOS 使用 Apple Silicon MPS,以及 Linux 在真实硬件上验证。希望获得注重隐私、具有语音和角色的本地 AI 助手,并且能够处理安装配置文件的用户将从中受益。
亮点
- 可中断的实时语音对话,支持在 LLM、TTS 和播放中插入
- 动画角色具有唇形同步、字幕和由共享播放时间线驱动的表情
- 委派给专门提供者(Pi、Codex、浏览器),并显示进度和权限请求
- 持久的工作控制:项目、草稿、工件、继续/重试、重启恢复和结构化差异
- AUIP 协作应用协议,用于与外部应用安全交互
- 可选的本地模型:GPT-SoVITS 用于 TTS,Qwen3-ASR 用于识别,Silero VAD 用于唤醒词
- Electron 中的统一设置和权限域的清晰分离以确保安全
- 在 AGPL-3.0 下开源,具有可构建、可运行的源代码
相关
- 项目
- 项目
- 项目
- 项目
- 项目