Gremble-io/Detto

해결하는 문제

Detto는 클라우드에 음성 또는 텍스트를 전송하지 않고, 음성 데이터를 캡처하고 음성 인식하는 로컬 우선(macOS) 애플리케이션입니다. 클라우드 기반 음성 인식 서비스와 관련된 데이터 락인 및 개인정보 보호 문제를 해결하며, 회의 기록, 음성 메모, 시스템 전체 음성 입력을 위한 시스템 완전히 Apple Silicon 하드웨어에서 작동하는 도구를 제공합니다.

작동 방식

Detto는 마이크 음성과 시스템 음성(통화용)을 분리하는 이중 스트림 오디오 캡처 시스템을 사용하며, 이 데이터를 온디바이스 AI 모델로 처리합니다. Apple Neural Engine에서 ASR(자동 음성 인식)에 Parakeet-TDT v3 모델을 사용하고, GPU에서 MLX를 통해 Llama 3.2 3B 모델을 활용해 문장 부호 및 대문자 수정을 위한 텍스트 정제를 수행합니다. 출력은 YAML 프론트마터가 포함된 일반 Markdown 파일로 저장되어 Obsidian과 같은 지식 기반과 호환됩니다.

대상 사용자

주로 '제2의 뇌' 또는 개인 지식 관리 시스템(예: Obsidian)을 유지하는 컨설턴트, 연구자, 전문가를 대상으로 합니다. 파일 기반 워크플로우에 직접 통합되는 고보안, 오프라인 음성 인식 및 음성 입력 도구가 필요한 사용자에게 적합합니다.

주요 기능

• 로컬 우선 아키텍처: 계정도 서버도 필요 없으며, 디스크에 오디오를 저장하지 않습니다.
• 채널 기반 화자 분리: 통화 중 사용자("You")와 다른 사람("Them")을 구분합니다.
• Vault 네이티브 출력: 전사본은 구조화된 YAML 메타데이터가 포함된 .md 파일로 저장됩니다.
• 클라이언트 브리핑: 로컬 Markdown 파일을 스캔하여 미팅 전 컨텍스트를 제공하고, 클라이언트 데이터를 전사본에 포함합니다.
• 시스템 전체 음성 입력: 키보드 단축키 기반으로 활성 애플리케이션에 직접 전사된 텍스트를 삽입할 수 있습니다.
• 회의 앱 감지: 현재 활성화된 앱(예: Zoom, Teams, Slack)에 따라 자동으로 전사본에 태그를 붙입니다.
• 다국어 지원: ASR이 25개 유럽 언어를 자동 감지합니다.