Muesli-HQ/muesli

Muesli – macOS向けオンデバイス音声認識

概要

• Apple Silicon（Apple Neural Engine）上で音声認識パイプラインの大部分をローカル実行するネイティブmacOSアプリです。オプションでクラウドLLM要約機能とエージェント向けCLIを備えます。
• アプリには小さなコマンドラインツール（muesli-cli）が同梱されており、他のプログラムやAIエージェントが録音、文字起こし、会議メモを照会できます。

主な機能

機能	できること
ディクテーション	ホットキー（またはダブルタップ）を押しながら話すと、カーソル位置にテキストが挿入されます。Neural Engine上のオンデバイスParakeetモデルでレイテンシー約0.13秒。
会議文字起こし	マイクとシステム音声を同時に録音し、VAD駆動のチャンク化、話者分離、数秒で完成した文字起こしを取得。要約とタイトルはOpenAI、Anthropic（Claude）、OpenRouter、ChatGPT、またはローカルOllamaモデルで生成可能。
Quill	カーソル位置での音声駆動の書き換えまたは生成。ローカルまたはホスト型LLMで動作。
Computer-Useプランナー	実験的な音声制御自動化。オンデバイスGemmaモデルを使用してローカルアクション（アプリを開く、入力、クリック）を実行。
ライブキャプション	Apple Speech、Nemotron 3.5、Parakeet Realtimeから選択して、会議中のライブプレビューキャプションを表示。
モデル管理	UIから直接、多数のオンデバイスASRモデル（Parakeet、Whisper、SenseVoice、Bodhan、Gemmaなど）のダウンロード、削除、切り替えが可能。
iCloud同期	テキスト、メモ、メタデータがmacOSとiPhone間で同期。音声はデバイスから送信されません。
ショートカットとSiri	Spotlight、Siri、キーボードからトリガーできる6つの事前作成ショートカット（ディクテーション開始/停止、会議開始/停止、最後のディクテーション/メモ取得）。
エージェント向けCLI	muesli-cliを使用すると、スクリプトやLLMエージェントが録音の一覧表示、ファイルの文字起こし、会議メモの取得・更新、JSON/Markdown出力が可能。
プライバシー最優先	デフォルトで全てオンデバイス処理。ホスト型サービスはオプションで、音声のみをストリーミングし、保存はしません。

典型的なワークフロー

1. DMGまたはHomebrew（brew install --cask muesli）でインストール。
2. 初回起動時に、デフォルトのオンデバイスモデル（Parakeet Unified推奨）を選択。ウィザードがマイク、アクセシビリティ、iCloud権限を確認。
3. 設定したホットキーを押して話し、離すと、テキストが入力位置に表示されます。
4. 会議の場合、UIまたはショートカットから録音を開始。アプリがマイク＋システム音声をキャプチャし、話者を分離し、文字起こしを作成。
5. オプションで要約をクリックして、選択したLLM（OpenAI、Claude、Ollamaなど）で会議メモを生成。
6. iCloudでiPhoneにメモを同期するか、PDF/Markdownでエクスポート。

対象ユーザー

• 音声データをクラウドに送らずに、高速で正確なディクテーションが必要なプロフェッショナル。
• 録音を非公開に保ちながら、自動議事録を必要とするチーム。
• 信頼性の高いmacOS音声認識バックエンド（同梱のCLI経由）が必要なAIエージェントを開発する開発者。

インストールとビルド

• プリビルドのDMGまたはHomebrew caskで簡単インストール。
• ソースはmacOS 14.2+でXcode 26.6（Swift 6.3）を使用してビルド可能。ビルドスクリプトがオンデバイスVQEランタイムとアプリ署名を処理。

制限事項

• macOS 14.2+が必要。多くの高度なライブキャプションモデルはmacOS 26+が必要。
• オンデバイスモデルはサイズが大きく（数百MBから数GB）、ダウンロードが必要。
• 「Computer Use」プランナーは実験的で、macOS 15+とGemmaモデルでのみ動作。

---

※詳細はすべてリポジトリのREADMEから直接取得しています。