pretyflaco/millet

解決する課題

Milletは、あらゆる音声・ビデオ通話アプリケーションから会議を記録、文字起こし、要約するためのツールです。話者分離された文字起こしとAI生成の要約を提供することで手動でのメモ取りを不要にし、ローカルモデルまたはハードウェア認証済みのセキュアエンクレーブ（TEE）を使用することでユーザーのプライバシーを優先します。

仕組み

• 音声キャプチャ: OSレベルでシステムオーディオをキャプチャし（LinuxではPipeWire/PulseAudio経由）、ユーザーのマイクとリモート参加者を別々のチャンネルで録音します。
• 文字起こし: WhisperXを使用して、単語レベルのタイムスタンプ付きの高速なバッチ文字起こしを行い、90以上の言語に対応しています。
• 話者分離: pyannote-audioを使用して異なる話者を識別し、ローカルユーザーを自動的に「YOU」、他の参加者を「REMOTE」とラベル付けします。
• 要約: 要約は、ローカルのOllamaモデルまたはプライベートでハードウェア認証済みのTinfoil TEE（Trusted Execution Environment）を使用して生成され、プロンプトがセキュアエンクレーブの外に出ないことを保証します。
• ビジョン統合: ナレーション付き画面録画の場合、ビデオからキューフレームをサンプリングし、視覚対応AIモデルに送信して、文字起こしとともに画面上で何が起こっているかを説明できます。
• 出力: このツールは、プロフェッショナルなPDF、SRT字幕、JSON、およびダウンストリームのインデックス作成用の構造化YAMLフロントマター付きMarkdownファイルを生成します。

対象ユーザー

あらゆる会議プラットフォーム（Zoom、Teams、Meetなど）で高品質でプライベートな会議記録と要約を必要とするプロフェッショナルやチーム、およびオフラインファーストまたはハードウェアセキュリティで保護されたAI処理を好むユーザー。

ハイライト

• アプリ非依存: システムスピーカーからオーディオを再生するあらゆるアプリケーションで動作します。
• プライバシーファースト: 会議を読み取れるクラウドバックエンドはありません。ローカルモデルまたはTEEを使用します。
• マルチモーダル要約: 文字起こしテキストと画面フレームを組み合わせて、技術的なウォークスルーのより正確な要約を生成できます。
• 話者認識: 声紋埋め込みを使用して、異なる会議間で既知の話者を自動的に識別します。
• プロフェッショナルな出力: ペルシャ語などの言語に対する完全なUnicodeおよびRTLサポートを備えた、クリーンでページ番号付きのPDFを生成します。
• GTK3 GUI: 簡単な録音と結果へのアクセスのための、常に最前面に表示される小さなウィジェットが含まれています。

まとめ

あらゆるアプリからシステムオーディオをキャプチャし、ローカルモデルまたはTEEを使用して、プライベートで話者分離された文字起こしとプロフェッショナルなPDFを生成する会議文字起こし・要約ツール。

タイトル

話者分離とTEEバックアップAIを備えたプライベートな会議文字起こし・要約ツール