Laxcorp-Research/project-raven

解決する課題

Project Ravenは、ホストされたバックエンドやクラウド同期に依存することなく、リアルタイムのAI支援と自動化された会議後のドキュメント作成を提供するオープンソースのミーティングコパイロットです。録音やメモをローカルに保持することでプライバシーを維持しつつ、ユーザーと他の参加者の音声を高品質かつ個別のストリームとしてキャプチャする問題を解決します。

仕組み

RavenはElectronデスクトップアプリケーションであり、ネイティブヘルパー（macOSではSwift、WindowsではRust）を使用してシステムオーディオとマイク入力をキャプチャします。GStreamerによるエコーキャンセレーションと残留エコーゲートを採用し、クリーンな文字起こしを保証します。このアプリは「Bring Your Own Key (BYOK)」モデルを採用しており、音声をDeepgramまたはAssemblyAIに送信して文字起こしを行い、プロンプトをAnthropicまたはOpenAIに送信してAI支援を行います。

主な技術コンポーネント：

• デュアルストリームキャプチャ：「あなた」と「相手」を並列ストリームに分離します。
• ローカルRAG：Xenova/all-MiniLM-L6-v2 を使用して、デバイス上で埋め込みとアップロードされたドキュメントの検索を行います。
• ステルスオーバーレイ：setContentProtection を使用し、ZoomやTeamsなどのプラットフォームでの画面共有中に非表示を維持します。
• ローカルストレージ：すべてのセッション履歴と文字起こしは、ローカルのSQLiteデータベースに保存されます。

対象ユーザー

AI会議アシスタントを必要としながらも、厳格なデータプライバシー、会議履歴のローカル管理、および独自のAI APIプロバイダーの使用を求める専門家や研究者に最適です。

ハイライト

• リアルタイムAIアシスト：通話中に何を言うべきかを提案するオーバーレイ。他の参加者には見えません。
• プライバシーファースト：Ravenアカウントやホストサーバーは不要。すべてのデータはローカルのSQLiteに留まります。
• 自動要約：構造化されたアクションアイテム、フォローアップメールのドラフト、発言比率分析を生成します。
• 会議横断検索：ローカル検索を使用して、会議履歴全体に基づいて質問に答える「すべての会議から質問」機能。
• 会議自動開始：アクティブな会議ウィンドウ（Zoom, Meet, Teams, Webex）を検出し、録音を促します。