Gremble-io/Detto

何を解決するか

Detto は、クラウドに音声やテキストを送信せずに、音声データをキャプチャして音声認識を行う、ローカルファーストのmacOSアプリです。クラウドベースの音声認識サービスに伴うデータロックインやプライバシーの懸念を解決し、会議の記録、ボイスメモ、システムワイドな音声入力のための完全にApple Siliconハードウェア上で動作するツールを提供します。

動作方法

Detto は、マイク音声とシステム音声（通話用）を分離する二重ストリーム音声キャプチャシステムを使用し、そのデータをオンデバイスAIモデルで処理します。Apple Neural Engine上で自動音声認識（ASR）にParakeet-TDT v3モデルを、GPU上でMLX経由のLlama 3.2 3Bモデルを用いて、句読点や大文字の修正を行うテキストの精緻化を行います。出力はYAMLフロントマター付きのプレーンなMarkdownファイルとして保存され、Obsidianのような知識ベースと互換性があります。

対象ユーザー

主に、『第二の脳』や個人的な知識管理システム（例：Obsidian）を維持しているコンサルタント、研究者、専門家向けです。ファイルベースのワークフローに直接統合できる、高プライバシー・オフライン音声認識および音声入力ツールが必要な方々に最適です。

特徴

• ローカルファーストアーキテクチャ：アカウントもサーバーも不要。ディスク上に音声を保存しない。
• チャネルベースの発話者分離：通話中にユーザー（"You"）と相手（"Them"）を区別する。
• Vaultネイティブ出力：転写結果はYAMLメタデータ付きの.mdファイルとして保存される。
• クライアント概要機能：ローカルのMarkdownファイルをスキャンし、事前通話の文脈を提供し、クライアント情報を転写に埋め込む。
• システムワイドな音声入力：ホットキー駆動型で、任意のアクティブなアプリケーションに直接転写テキストを挿入可能。
• 会議アプリ検出：アクティブなアプリ（例：Zoom、Teams、Slack）に基づいて自動的に転写をタグ付け。
• 多言語対応：ASRが25のヨーロッパ言語を自動検出。