cyx2333hhh/talk-type

何を解決するか

Talk-type は macOS ユーザー向けにシームレスな音声入力体験を提供し、特に中国語と英語のバイリンガル入力の課題と、どのアクティブなアプリケーションにも直接挿入できる文法的に正しいテキストの必要性に対応しています。

動作方法

このツールはマルチレイヤーの認識パイプラインを使用しています。まず、Apple Speech をリアルタイムの音声認識に利用します。失敗した場合、whisper-cli を通じてローカルの Whisper Small モデルにフォールバックします。バイリンガル対応のため、代替言語で2回目の処理を実行して精度を確保します。音声認識が完了すると、オプションの AI クリーンアップ層（OpenAI、Claude、DeepSeek などのプロバイダーをサポート）でテキストを処理し、カーソルの周囲の文脈を活用して句読点や文の区切りを修正した後、macOS Accessibility API を使ってフォーカスされたアプリにテキストを挿入します。

対象ユーザー

文章作成、メッセージ送信、メモ取りなどで頻繁に音声入力を使用する macOS ユーザーで、混合言語入力と AI によるテキストの洗練を必要とする方々に最適です。

特徴

• バイリンガル対応：中国語、英語、および混合言語入力をネイティブに処理。
• ローカルフォールバック：システムの音声認識が失敗した場合、whisper.cpp を使ってオフライン/ローカルでの音声認識を統合。
• AI ベースのクリーンアップ：複数の LLM プロバイダーをサポートし、トランスクリプトを洗練されたテキストに修正。
• アプリ間連携：macOS Accessibility 機能を使って、任意のフォーカスされた入力フィールドに直接テキストを書き込み可能。