natively-cluely-ai-assistant: デバイス内STTとローカルRAGメモリを備えたステルスなリアルタイム面接コパイロット

解決する課題

Natively は、ハイステークスなライブ会話中に即座かつ検出されない支援を提供するよう設計された、リアルタイム AI 面接コパイロット兼ミーティングアシスタントです。類似ツールへの高額な月額サブスクリプションが不要になり、データをクラウドサーバーではなくローカルに保存することでユーザーのプライバシーを確保します。

仕組み

このシステムは、Rust ベースのネイティブ音声キャプチャと Zero-Copy ABI 転送を使用して、超低遅延（<500ms）を実現します。macOS と Windows 上でハードウェアアクセラレーションを活用した最適化された ONNX モデル（Whisper や Moonshine など）によるデバイス内音声認識（STT）を採用しています。ツールはシステム音声とマイク入力の両方をデュアルチャネルで取得し、OCR によって画面内容を解析し、そのコンテキストを選択した LLM（API キーまたはローカル Ollama モデル経由）に渡して、ステルスなオーバーレイでリアルタイム応答を生成します。

対象ユーザー

技術、行動、システム設計の面接を準備する求職者や、営業、採用、一般的なチームミーティングでリアルタイムアシスタントが必要なプロフェッショナル向けです。

ハイライト

  • Privacy-First Architecture: デフォルトで文字起こし、API キー、スクリーンショットをローカルに保存します。
  • Stealth Mode: 監視ソフトウェアに検出されず、ドックから隠れ、プロセス名を偽装します。
  • Local AI Capabilities: ローカルの Ollama モデルとデバイス内 Whisper STT を使用した 100% オフラインモードをサポートします。
  • Local RAG Memory: SQLite のベクトル検索を利用し、ユーザーが自分のミーティング履歴を照会できるようにします。
  • Flexible LLM Integration: GPT、Claude、Gemini、Groq 向けの Bring-your-own-key（BYOK）をサポートします。
  • Custom Personas: テクニカルインタビューや営業など、7 つのカスタマイズされたモードがあり、特定のシステムプロンプトとテンプレートが用意されています。

Sources