pretyflaco/millet

해결하는 문제

Millet은 음성 또는 화상 통화 애플리케이션에서 회의를 녹음, 전사, 요약하는 도구입니다. 화자 분리된 대본과 AI 생성 요약을 제공하여 수동 메모 작성의 필요성을 없애며, 로컬 모델 또는 하드웨어 인증 보안 enclave(TEE)를 사용하여 사용자 개인정보를 우선시합니다.

작동 방식

• 오디오 캡처: OS 수준에서 시스템 오디오를 캡처하여(Linux의 PipeWire/PulseAudio를 통해) 사용자의 마이크와 원격 참가자를 별도 채널로 녹음합니다.
• 전사: WhisperX를 사용하여 단어 수준 타임스탬프가 포함된 빠른 배치 전사를 제공하며 90개 이상의 언어를 지원합니다.
• 화자 분리: pyannote-audio를 사용하여 서로 다른 화자를 식별하고, 로컬 사용자를 자동으로 "YOU"로, 다른 사람을 "REMOTE"로 표시합니다.
• 요약: 로컬 Ollama 모델 또는 비공개 하드웨어 인증 Tinfoil TEE(신뢰 실행 환경)를 사용하여 요약을 생성하므로 프롬프트가 보안 enclave를 벗어나지 않도록 보장합니다.
• 비전 통합: 내레이션된 화면 녹화의 경우 비디오에서 큐 프레임을 샘플링하여 비전 지원 AI 모델로 보내 대본과 함께 화면에서 발생하는 상황을 설명할 수 있습니다.
• 출력: 이 도구는 다운스트림 인덱싱을 위한 구조화된 YAML frontmatter와 함께 전문적인 PDF, SRT 자막, JSON 및 Markdown 파일을 생성합니다.

대상 사용자

모든 회의 플랫폼(Zoom, Teams, Meet 등)에서 고품질의 비공개 회의 기록과 요약이 필요한 전문가 및 팀, 그리고 오프라인 우선 또는 하드웨어 보안 AI 처리를 선호하는 사용자.

주요 특징

• 앱 무관: 시스템 스피커를 통해 오디오를 재생하는 모든 애플리케이션과 작동합니다.
• 개인정보 우선: 회의를 읽을 수 있는 클라우드 백엔드가 없으며 로컬 모델 또는 TEE를 사용합니다.
• 멀티모달 요약: 대본 텍스트와 화면 프레임을 결합하여 기술 워크스루에 대한 더 정확한 요약을 제공할 수 있습니다.
• 화자 인식: 음성 지문 임베딩을 사용하여 여러 회의에서 알려진 화자를 자동으로 식별합니다.
• 전문적인 출력: 페르시아어와 같은 언어에 대한 전체 유니코드 및 RTL 지원과 함께 깔끔하고 페이지 번호가 매겨진 PDF를 생성합니다.
• GTK3 GUI: 쉬운 녹음 및 결과 접근을 위한 작은 항상 위에 표시되는 위젯을 포함합니다.

요약

모든 앱에서 시스템 오디오를 캡처하고 로컬 모델 또는 TEE를 사용하여 비공개 화자 분리 대본과 전문적인 PDF를 생성하는 회의 전사 및 요약 도구입니다.

제목

화자 분리 및 TEE 기반 AI를 갖춘 비공개 회의 전사 및 요약 도구