Blueturboguy07/cue

解决的问题

cue 是一个在实时活动期间浮在屏幕上的私有 AI 助手。它解决了在屏幕共享或录制时需要实时 AI 帮助（如编码解决方案或会议指导）但又不希望助手被他人看到的问题。

如何工作

这是一个基于 Electron 的应用程序，捕获三种不同输入：用户的屏幕（通过截图）、用户的麦克风，以及系统音频（会议中的其他参与者）。这些输入的处理方式如下：

• 音频： 使用云服务提供商（OpenAI、Gemini、Deepgram）或捆绑的 whisper.cpp 运行时进行本地转录。
• 视觉信息： 屏幕截图发送到选定的 LLM 提供商（OpenAI、Anthropic、Google Gemini 或自定义 OpenAI 兼容端点）。
• 不可见性： 应用使用操作系统级别的标志（macOS 上的 setContentProtection 和 Windows 上的 WDA_EXCLUDEFROMCAPTURE）告诉系统将该窗口排除在屏幕捕获流之外。

适用人群

专为需要在学习、无障碍访问、面试练习、编码任务和专业会议中获得实时 AI 协作支持的个人设计。

主要亮点

• 屏幕共享不可见： 设计为在大多数屏幕录制和共享工具中保持隐藏状态。
• 自带密钥： 支持多种 AI 提供商（OpenAI、Anthropic、Gemini、Azure）和自定义端点，确保应用开发者无需收取订阅费用。
• 本地转录： 可选择使用 whisper.cpp 在本地运行语音转文字，以增强隐私保护。
• 多通道音频： 将「你」（麦克风）和「他们」（系统音频）通道分离，提供上下文感知的会议协助。
• 上下文帮助： 包含专门的触发器，用于解决编码问题、生成后续问题和总结对话。