Laxcorp-Research/project-raven

해결하는 문제

Project Raven은 호스팅된 백엔드나 클라우드 동기화에 의존하지 않고 실시간 AI 지원과 자동화된 회의 후 문서화를 제공하도록 설계된 오픈 소스 미팅 코파일럿입니다. 녹음과 메모를 로컬에 보관하여 개인정보를 보호하면서, 사용자와 다른 참가자의 오디오를 고품질의 개별 스트림으로 캡처하는 문제를 해결합니다.

작동 방식

Raven은 Electron 데스크톱 애플리케이션으로, 네이티브 헬퍼(macOS의 경우 Swift, Windows의 경우 Rust)를 사용하여 시스템 오디오와 마이크 입력을 캡처합니다. GStreamer를 통한 에코 제거와 잔류 에코 게이트를 사용하여 깨끗한 전사를 보장합니다. 이 앱은 'Bring Your Own Key (BYOK)' 모델을 사용하여 오디오를 Deepgram이나 AssemblyAI로 보내 전사하고, 프롬프트를 Anthropic이나 OpenAI로 보내 AI 지원을 받습니다.

주요 기술 구성 요소:

• 듀얼 스트림 캡처: '나'와 '상대방'을 병렬 스트림으로 분리합니다.
• 로컬 RAG: Xenova/all-MiniLM-L6-v2를 사용하여 기기 내에서 임베딩 및 업로드된 문서 검색을 수행합니다.
• 스텔스 오버레이: setContentProtection을 사용하여 Zoom이나 Teams와 같은 플랫폼에서 화면 공유 중에도 보이지 않게 유지합니다.
• 로컬 저장소: 모든 세션 기록과 전사 내용은 로컬 SQLite 데이터베이스에 저장됩니다.

대상 사용자

AI 회의 어시스턴트가 필요하지만 엄격한 데이터 개인정보 보호, 회의 기록에 대한 로컬 제어, 그리고 자체 AI API 제공업체를 사용하고자 하는 전문가 및 연구자를 위한 도구입니다.

주요 특징

• 실시간 AI 지원: 통화 중에 무엇을 말해야 할지 제안하는 오버레이로, 다른 참가자에게는 보이지 않습니다.
• 개인정보 우선: Raven 계정이나 호스팅 서버가 필요 없으며, 모든 데이터는 로컬 SQLite에 저장됩니다.
• 자동 요약: 구조화된 작업 항목, 후속 이메일 초안, 발언 비율 분석을 생성합니다.
• 회의 통합 검색: 로컬 검색을 사용하여 전체 회의 기록을 바탕으로 질문에 답변하는 '모든 회의에서 질문하기' 기능.
• 회의 자동 시작: 활성화된 회의 창(Zoom, Meet, Teams, Webex)을 감지하여 녹음을 제안합니다.