CSCB/vibe-mouse

Core open-source Vibecoding interactive mouse project, belonging to a self-developed open-source system including the nation's first open-source robot actuator and stepless mobile intelligent monitoring solution.

解决的问题

Vibe-mouse 提供一个可定制的人机交互(HCI)层,简化 AI 驱动的 IDE(如 Cursor、Trae 和 Windsurf)的使用。它无需记忆复杂的键盘快捷键,即可将 AI 操作(如内联编辑、聊天和接受代码)映射到多种外部硬件设备(鼠标、游戏手柄、语音等)。

工作原理

该项目采用可插拔的适配器架构,从各种输入设备捕获事件,并通过 DeviceManager 路由到 Executor,触发相应的系统快捷键。它包含一个「技能系统」,允许用户定义完整的工模式(例如「代码审查」或「调试助手」),这些模式可以覆盖快捷键、向 LLM 注入特定系统提示,并更改硬件反馈设置(如 LED、振动、声音)。

对于语音交互,它通过华为云 Token Plan/MaaS 将语音识别与 LLM 桥接,并可选择性地使用「提示优化」步骤,将口语化表达转换为结构化提示,再由 AI 生成代码。

适用人群

使用 AI IDE 并希望通过物理硬件触发器、语音命令或在不同编码工具间自动切换上下文来优化工作流的开发者。

主要亮点

  • 多设备支持:支持鼠标、键盘、游戏手柄、蓝牙、红外遥控器、HID 设备以及 IoT/网络触发的插件适配器。
  • AI IDE 集成:内置对 Trae、Cursor、Windsurf、VS Code(Copilot)、DevEco Studio 和 CodeArts 的快捷键映射。
  • 自动窗口检测:自动检测哪个 AI IDE 处于焦点状态,并相应切换激活的快捷键配置。
  • 技能系统:可配置的模式,可组合系统提示、特定快捷键覆盖和硬件反馈(LED、振动、声音)。
  • 语音到 LLM 桥接:直接集成 LLM 通过语音生成代码,可选地添加提示优化层。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目