Muesli-HQ/muesli

何を解決するか

Muesli は、プライバシーを重視し、デフォルトでローカル処理を行うネイティブ macOS アプリです。クラウドサービスに依存せずに、任意のアプリケーションにテキストを音声入力し、会議の音声を話者識別付きで転写する、シームレスな方法を提供します。

動作方法

このアプリは Apple Silicon の Neural Engine、CoreML、Metal を活用して、さまざまな ASR（音声認識）モデルをデバイス上でローカル実行します。CoreAudio と ScreenCaptureKit を使用してマイクおよびシステム音声（会議用）をキャプチャします。会議の転写では、VAD（音声活動検出）により自然な発話境界で音声を分割し、CoreML に基づく話者識別モデルで異なる話者を識別します。

対象ユーザー

システムと統合され、完全オフラインで動作する高パフォーマンスなプライベートな音声入力および会議転写ツールを必要とする macOS ユーザー（例：Google Calendar、Apple Shortcuts との連携）。

主な特徴

• ローカル最優先の ASR：Parakeet、Nemotron、Whisper、Gemma 4 など、幅広いローカルモデルをサポート。遅延は最低 0.13 秒。
• 会議インテリジェンス：自動話者識別、カメラベースの会議検出、Google Calendar 連携による自動転写トリガー。
• 参加して転写：カレンダーイベントから会議 URL を抽出し、会議に参加して転写を同時に開始。
• エージェントフレンドリーな CLI：組み込み CLI（muesli-cli）を提供。コードエージェントが音声ファイルをプログラムで転写し、JSON を介して会議メモを管理可能。
• プライバシー重視：デフォルトで音声はデバイス内に留まる。OpenAI や OpenRouter 用の高度なクリーニングや要約処理には、オプションの BYOK（Bring Your Own Key）統合をサポート。
• システム統合：Apple Shortcuts、Siri、iCloud と深く統合され、Mac と iPhone 間でテキストを同期可能。