Parakeet MLX – Appleシリコンでの音声認識

概要 – MLX推論フレームワークを使用して、Appleシリコン搭載Mac上でNvidiaのParakeet自動音声認識 (ASR) モデルを実行するPythonパッケージです。コマンドラインツールとPython APIを提供し、音声ファイル（またはライブ音声ストリーム）をタイムスタンプ付きのテキストに変換します。

主な機能 (READMEより)

機能	詳細
モデルサポート	Hugging-FaceからParakeetバリアント (`TDT`, `RNNT`, `CTC`, `TDTCTC`) をロード可能 (例: `mlx-community/parakeet-tdt-0.6b-v3`)。
Appleシリコン加速	MシリーズGPU/CPUに最適化されたMLXライブラリを使用。
CLI	`parakeet-mlx <audio_files> [OPTIONS]` – バッチ文字起こし、出力形式の選択 (txt, srt, vtt, json, all)、単語レベルのタイムスタンプ、長尺ファイルのチャンク処理、ビームサーチデコード、精度制御 (bf16 / fp32)、メモリ効率の良い長尺音声用ローカルアテンションモード。
Python API	`from_pretrained` でモデルをロードし、`model.transcribe(path, …)` で全文および文/トークンごとのタイムスタンプを含む `AlignedResult` を取得。
デコードオプション	貪欲法 (デフォルト) またはビームサーチ (ビームサイズ、長さペナルティ、patience、duration reward)。
チャンク処理とストリーミング	長尺音声をオーバーラップするチャンクに分割。`transcribe_stream` により、アテンションコンテキストと深さを設定可能なリアルタイム文字起こしが可能。
ローカルアテンション	スライディングウィンドウアテンション (`rel_pos_local_attn`) に切り替えて、非常に長い入力のメモリ消費を削減。
出力テンプレート	`{filename}`, `{parent}`, `{index}`, `{date}` を使用したカスタムファイル名パターン。
インストール	`uv` (推奨) または `pip` 経由。システムに `ffmpeg` が必要。

使用方法

CLIクイックスタート

# 基本的な文字起こし
parakeet-mlx audio.mp3

# 単語レベルのタイムスタンプ付きVTT字幕
parakeet-mlx *.mp3 --output-format vtt --highlight-words

# サポートされている全形式で生成
parakeet-mlx audio.mp3 --output-format all

Pythonの例

from parakeet_mlx import from_pretrained, DecodingConfig, Beam

model = from_pretrained("mlx-community/parakeet-tdt-0.6b-v3")

# シンプルな貪欲デコード
res = model.transcribe("audio.wav")
print(res.text)

# カスタムパラメータを使用したビームサーチ
cfg = DecodingConfig(decoding=Beam(beam_size=5, length_penalty=0.013,
                                   patience=3.5, duration_reward=0.67))
res = model.transcribe("audio.wav", decoding_config=cfg)
print(res.sentences)

どのような場合に役立つか？

音声対応macOSアプリを開発する開発者：クラウドにデータを送信せずにデバイス上で文字起こしを行いたい場合。
AppleハードウェアでASRパイプラインのプロトタイプを作成する研究者：Nvidiaで学習されたParakeetモデルを活用したい場合。
コンテンツクリエイター：ポッドキャストや動画用の字幕 (SRT/VTT) をローカルで高速に生成したい場合。

制限事項とTODO

単語精度の向上機能は未実装。
連続コンテキストを持つチャンク処理は部分的にのみサポート。ストリーミング機能で対応予定。

ライセンス

Apache 2.0 – 商用および研究目的で無料で使用可能。

上記の情報はすべてリポジトリのREADMEから直接引用しています。

senstella/parakeet-mlx