FatihMakes/Mark-LVI

Mark LVI – 跨平台个人 AI 助手

简介 – Mark LVI 是一款桌面级 AI 伴侣，能够聆听、交谈、观察屏幕/摄像头并控制操作系统。它可在 Windows、macOS 和 Linux 上运行，既可以使用 Google 的 Gemini Live API（默认），也可以使用任何实现标准 /v1/chat/completions 端点的自托管或第三方语言模型（如 Ollama、LM Studio、llama.cpp、vLLM、OpenAI、Groq、DeepSeek、Mistral、xAI、OpenRouter 等）。

核心功能

• 实时语音交互 – 一键通话 (Ctrl+Space)、唤醒词 (“Hey Jarvis”)，通过 Gemini Live 或本地 Whisper + Piper 流水线实现超低延迟流式传输。
• 全息虚拟形象 – 带有口型同步、面部表情和状态提示的动画头部，通过软件渲染（无需 GPU）。
• 多语言支持 – Whisper 可检测口语；Piper（或 ElevenLabs）以相同语言回复，支持约 50 种语言和 176 种音色。
• 全系统控制 – 启动/关闭应用、调节音量/亮度、Wi-Fi、电源、剪贴板工具、文件处理、网页搜索、浏览器控制、消息发送（WhatsApp、Telegram）、硬件监控、天气、提醒等。
• 插件与技能系统 – 只需将一个 .py 文件放入 plugins/ 目录，助手即可自动发现新工具；每个工具都声明其自己的 TOOL 字典。
• 记忆与撤销 – 持久化、可搜索的事实记忆、会话摘要以及可撤销文件或设置更改的“撤销”功能。
• 安全特性 – 自回声防护、不可逆操作的确认门控、明确的 done/unverified/failed 状态报告、不受信任内容边界以及设备级音量处理。
• 备用引擎梯队 – 内置九个 Gemini 模型排序；如果发生配额限制、超时或中断，系统会自动切换到下一个模型，而不会中断对话。
• 本地优先选项 – 您可以完全在本地运行整个堆栈（Whisper 用于 STT，Piper 用于 TTS，任何本地 LLM），无需订阅费用；UI 仅在启用时加载提供程序（禁用时 0 ms 开销）。

工作原理

1. 引擎选择 – 通过 UI 选择听觉、思维和语音的提供程序。每个部分都可通过“TEST”按钮进行测试，该按钮会报告连接性和延迟。
2. 对话流程 – 音频流式传输至所选模型；模型可以调用工具（例如 open_app、read_file）。工具结果反馈给模型，模型随后回复您。
3. 工具预算 – 仅将最相关的工具发送给模型（默认 20 个工具，限制大小），以保持负载较小并降低延迟。
4. 会话连续性 – 对话在设备切换、掉线或语音切换后依然保持；上下文通过滑动窗口算法进行压缩，实现无限会话长度。

安装与首次运行

• 克隆仓库并运行提供的安装脚本（或 pip install -r requirements.txt）。
• 基础安装仅拉取 google-genai 和 httpx；可选组件（Whisper、Piper、ElevenLabs）可根据需要从 UI 安装。
• 首次启动时，助手会自动注册以实现开机自启（注册表/LaunchAgent/.desktop）。
• 如果需要远程控制，可通过二维码配对手机仪表盘。

意义所在 Mark LVI 展示了一个完全独立、可扩展的 AI 代理，它架起了语音、视觉和操作系统自动化的桥梁，同时让用户可以自由选择在本地或任何云端 LLM 上运行。其模块化的提供程序架构、安全优先的工具处理和丰富的 UI，使其成为个人“Jarvis 风格”助手的实用范例，无需编写代码即可进行自定义。

---

所有细节均直接取自项目 README；未添加任何外部信息。