missuo/koe

What it solves

Koeは、使い勝手の悪い、あるいは肥大化した音声入力アプリに代わる、macOS向けの軽量でバックグラウンド優先の音声入力ツールです。ユーザーが話した言葉をLLMによって自動的に修正し、アクティブなアプリケーションに直接貼り付けることができるため、話すことと入力することの間の摩擦を最小限に抑えます。

How it works

1. Trigger: ユーザーは、ホールド、トグル、またはダブルタップモードを使用して、設定可能なホットキー（例：Fn key）を介して録音を開始します。
2. Transcription: 音声は、ASR (Automatic Speech Recognition) プロバイダーにリアルタイムでストリーミングされます。サポートされているプロバイダーには、クラウドサービス（Doubao, Qwen）やローカルオプション（Apple Speech, MLX, sherpa-onnx）が含まれます。
3. Correction: 生成された文字起こし結果は、カスタマイズ可能なシステムプロンプトとユーザー定義の辞書に基づいて、大文字・小文字、スペース、用語を修正するためにLLM（OpenAI, Anthropic, またはローカルのMLXモデル）に送信されます。
4. Output: 最終的に修正されたテキストは、macOS accessibility APIsを使用して、アクティブな入力フィールドに自動的に貼り付けられます。

Who it’s for

• macOSユーザー（Apple Silicon）で、高速でミニマルな音声からテキストへのワークフローを求めている方。
• 複雑なGUIよりもプレーンテキストの設定ファイルを好むパワーユーザー。
• カスタム辞書を通じて、ドメイン固有の用語に対して高い精度を必要とする開発者や技術的なユーザー。

Highlights

• Minimal Footprint: ディスク容量は15 MB未満に抑えられ、通常、メモリ使用量は20 MB程度です。
• Hybrid ASR/LLM: クラウドベースと、MLXを介した完全オフラインのデバイス上での推論の両方をサポートしています。
• Lighweight Architecture: パフォーマンスのためにRustで構築され、macOSへのネイティブな統合のためにObjective-Cが使用されており、Electronアプリの「Chromium tax」を回避しています。
• Plain-Text Config: 辞書やプロンプトを含むすべての設定は、編集やスクリプト作成が容易なように ~/.koe/ に保存されます。