Blueturboguy07/cue

何を解決するか

cue はライブ活動中に画面の上に浮かぶプライベートな AI アシスタントです。スクリーン共有や録画時にアシスタントが見えないようにすることで、コーディングの解決策や会議のガイドラインなど、リアルタイムでの AI ヘルプが必要な状況でも、他者に見えない状態で支援を提供します。

動作方法

Electron で構築されたアプリケーションで、以下の3つの入力をキャプチャします：ユーザーの画面（スクリーンショット経由）、ユーザーのマイク、システムオーディオ（会議中の他の参加者）。これらの入力は以下の通り処理されます：

• オーディオ： クラウドプロバイダー（OpenAI、Gemini、Deepgram）またはバンドルされた whisper.cpp ランタイムをローカルで使用して音声認識。
• 視覚情報： スクリーンキャプチャは選択した LLM プロバイダー（OpenAI、Anthropic、Google Gemini、またはカスタム OpenAI 互換エンドポイント）に送信。
• 非表示性： macOS では setContentProtection、Windows では WDA_EXCLUDEFROMCAPTURE といった OS レベルのフラグを使用して、ウィンドウがスクリーンキャプチャストリームから除外されるようにシステムに指示。

対象ユーザー

学習、アクセシビリティ、面接練習、コーディング作業やプロフェッショナルな会議中にリアルタイムの AI コピロットを必要とする個人向けに設計されています。

特徴

• スクリーン共有非表示： 多くのスクリーン録画・共有ツールから隠れるように設計されています。
• 独自のキーを活用： OpenAI、Anthropic、Gemini、Azure などの複数の AI プロバイダーとカスタムエンドポイントをサポート。アプリ開発者へのサブスクリプション料金は発生しません。
• ローカル音声認識： whisper.cpp を使用してローカルで音声認識を実行可能。プライバシーを強化。
• マルチチャネルオーディオ： 「あなた」（マイク）と「相手」（システムオーディオ）のチャネルを分離し、文脈に応じた会議支援を提供。
• 文脈に応じた支援： コーディング問題の解決、フォローアップ質問の生成、会話の要約など、専用トリガーを備えています。