google-gemini/jot-gemini-transcribe-macOS

何を解決するか

Jotは、macOS向けのスマートな音声入力体験を提供し、話された言葉を洗練された句読点付きのテキストに変換して、カーソル位置に直接挿入します。ウィンドウを切り替えたり、書き起こしを手動でコピーしたりする必要がなく、自己修正（例：時間を1pmから2pmに変更する）や、標準的な音声入力では見落とされがちな専門用語などの一般的な発話パターンを処理します。

仕組み

Jotは、Gemini APIを介してgemini-3.5-transcribeモデルを使用します。ユーザーが特定のキー（fnなど）を長押ししている間、アプリはクラッシュ時の安全性を考慮して、音声を即座にディスクにキャプチャします。キーを離すと、音声はFLACに変換され、Gemini APIに送信されます。生成されたテキストは、トーンの調整や技術用語用のカスタム辞書を含むフォーマットパイプラインを通じて処理された後、macOS Accessibility APIまたは保護された貼り付けメカニズムを使用して、アクティブなアプリケーションに挿入されます。

対象ユーザー

macOSユーザーで、別途のアカウントや仲介サーバーを必要とせず、使用中のあらゆるアプリケーションにシームレスに統合される、高精度で摩擦の少ない音声入力ツールを求めている方。

ハイライト

• インテリジェントな編集: フィラーワード（「えーと」など）を自動的に削除し、発話中の「考えの変化」を処理して、きれいな最終テキストを生成します。
• プライバシー第一: 音声データは、ユーザー自身のAPIキーを使用してMacからGemini APIへ直接送信され、中間サーバーや分析は一切行われません。
• クラッシュ耐性: 音声は最初のミリ秒からディスクに書き込まれるため、クラッシュや停電が発生した後でも録音内容が確実に復元されます。
• カスタム辞書: 特定の名前や製品用語を追加して、技術的な専門用語が正しく書き起こされるようにすることができます。
• 低遅延: アイドル時にキャプチャグラフをプリウォーム（事前準備）しておくことで、キー押下から録音開始までの遅延を最小限に抑えます。