CSCB/vibe-mouse

해결하는 문제

Vibe-mouse는 AI 기반 IDE(예: Cursor, Trae, Windsurf 등)의 사용을 원활하게 하는 사용자 친화적인 인터랙션(HCI) 계층을 제공합니다. 복잡한 키보드 단축키를 외우지 않아도 되며, 인라인 편집, 채팅, 코드 수락과 같은 AI 작업을 마우스, 게임패드, 음성 등 다양한 외부 하드웨어 장치로 매핑할 수 있습니다.

작동 방식

이 프로젝트는 다양한 입력 장치에서 이벤트를 캡처하고 DeviceManager를 통해 Executor로 라우팅하는 플러그인 아키텍처를 사용합니다. 이로써 해당 시스템 단축키가 트리거됩니다. 또한 사용자가 '코드 리뷰' 또는 '디버그 도우미'와 같은 완전한 작업 모드를 정의할 수 있는 '스킬 시스템'을 포함하고 있으며, 단축키를 오버라이드하고 LLM에 특정 시스템 프롬프트를 삽입하며 하드웨어 피드백 설정(예: LED, 진동, 사운드)을 변경할 수 있습니다.

음성 인터랙션을 위해, Huawei Cloud Token Plan/MaaS를 통해 음성 인식과 LLM을 연결하며, AI가 코드를 생성하기 전에 구어체 발화를 구조화된 프롬프트로 변환하는 '프롬프트 최적화' 단계를 선택적으로 사용할 수 있습니다.

대상 사용자

AI IDE를 사용하고, 물리적 하드웨어 트리거, 음성 명령, 또는 다양한 코딩 도구 간 자동 컨텍스트 전환을 통해 작업 흐름을 최적화하고자 하는 개발자들.

주요 특징

• 다중 장치 지원: 마우스, 키보드, 게임패드, 블루투스, IR 리모컨, HID 장치, IoT/네트워크 트리거용 플러그인 아답터.
• AI IDE 통합: Trae, Cursor, Windsurf, VS Code(Copilot), DevEco Studio, CodeArts용 내장 단축키 매핑.
• 자동 창 감지: 현재 포커스된 AI IDE를 자동 감지하고, 해당 설정에 따라 활성 단축키 구성으로 전환.
• 스킬 시스템: 시스템 프롬프트, 특정 단축키 오버라이드, 하드웨어 피드백(LED, 진동, 사운드)을 결합한 사용자 정의 가능한 모드.
• 음성 → LLM 브리지: LLM에 직접 연결되어 음성으로 코드 생성 가능. 프롬프트 최적화 레이어를 선택적으로 사용 가능.