Blueturboguy07/cue

해결하는 문제

cue는 실시간 활동 중 화면 위에 떠 있는 개인용 AI 보조자입니다. 화면 공유나 녹화 시 다른 사람에게 보이지 않도록 하면서도, 코딩 해결책이나 회의 안내와 같은 실시간 AI 도움이 필요할 때 사용할 수 있습니다.

작동 방식

Electron 기반 애플리케이션으로, 사용자 화면(스크린샷을 통해), 사용자 마이크, 시스템 오디오(회의 중 다른 참가자)의 세 가지 입력을 캡처합니다. 이 입력들은 다음과 같이 처리됩니다:

• 오디오: 클라우드 제공자(OpenAI, Gemini, Deepgram) 또는 내장된 whisper.cpp 런타임을 로컬에서 사용하여 음성 인식.
• 시각 정보: 화면 캡처는 선택한 LLM 제공자(OpenAI, Anthropic, Google Gemini, 또는 사용자 정의 OpenAI 호환 엔드포인트)로 전송.
• 비노출성: macOS에서는 setContentProtection, Windows에서는 WDA_EXCLUDEFROMCAPTURE와 같은 OS 수준 플래그를 사용해 창이 화면 캡처 스트림에서 제외되도록 시스템에 지시.

대상 사용자

학습, 접근성, 면접 연습, 코딩 작업 및 전문 회의 중 실시간 AI 코파일럿이 필요한 개인을 위한 것입니다.

주요 기능

• 화면 공유 비노출: 대부분의 화면 녹화 및 공유 도구에서 숨겨져 있도록 설계됨.
• 자신의 키 사용 가능: OpenAI, Anthropic, Gemini, Azure 등 다양한 AI 제공자와 사용자 정의 엔드포인트를 지원하여 앱 개발자에게 구독료가 발생하지 않음.
• 로컬 음성 인식: whisper.cpp를 사용해 로컬에서 음성-텍스트 변환을 수행하여 프라이버시 강화.
• 다중 오디오 채널: "나"(마이크)와 "그들"(시스템 오디오) 채널을 분리해 문맥 기반 회의 지원 제공.
• 문맥 기반 도움: 코딩 문제 해결, 후속 질문 생성, 대화 요약 등 전용 트리거 포함.