Blueturboguy07/cue

解決的問題

cue 是一個在即時活動期間浮在螢幕上的私人 AI 助手。它解決了在螢幕共享或錄製時需要即時 AI 幫助（例如程式碼解決方案或會議指導）卻又不希望助手被他人看見的問題。

如何運作

這是一個基於 Electron 的應用程式，會捕捉三種不同的輸入：使用者的螢幕（透過截圖）、使用者的麥克風，以及系統音訊（會議中的其他參與者）。這些輸入的處理方式如下：

• 音訊： 使用雲端服務提供者（OpenAI、Gemini、Deepgram）或內建的 whisper.cpp 執行環境進行本地轉錄。
• 視覺資訊： 螢幕截圖會傳送至所選的 LLM 提供者（OpenAI、Anthropic、Google Gemini 或自訂 OpenAI 相容端點）。
• 不可見性： 應用使用作業系統層級的旗標（macOS 上的 setContentProtection 和 Windows 上的 WDA_EXCLUDEFROMCAPTURE）告知系統將該視窗排除在螢幕捕獲串流之外。

適用對象

專為需要在學習、無障礙使用、面試練習、程式碼任務和專業會議中獲得即時 AI 協作支援的個人設計。

主要特色

• 螢幕共享不可見： 設計為在大多數螢幕錄製和共享工具中保持隱藏狀態。
• 自帶密鑰： 支援多種 AI 提供者（OpenAI、Anthropic、Gemini、Azure）和自訂端點，確保應用程式開發者無需收取訂閱費用。
• 本地轉錄： 可選擇使用 whisper.cpp 在本地執行語音轉文字，以增強隱私保護。
• 多通道音訊： 將「你」（麥克風）和「他們」（系統音訊）通道分離，提供情境感知的會議協助。
• 情境協助： 包含專用觸發器，用於解決程式碼問題、產生後續問題和總結對話。