antirez/qwen-asr

C inference for Qwen3-ASR 0.6b and 1.7b transcriptions models

解決する課題

本プロジェクトは、Qwen3-ASR音声テキスト変換モデルのための高性能な純C言語による推論パイプラインを提供します。依存関係を最小限に抑えつつ、強力なASRモデル（0.6Bおよび1.7Bパラメータ）をCPU、NVIDIA GPU（CUDA経由）、AMD GPU（ROCm経由）上で効率的に実行可能です。

仕組み

この実装は、音声の前処理、トークン化、モデル推論を処理するCベースのパイプラインを使用しています。主に3つの動作モードをサポートしています：

  • ノーマルモード (Normal Mode)：音声を一括（オフライン）で処理するか、大きなファイルを扱うためにセグメント単位で処理します。
  • ストリーミングモード (Streaming Mode)：2秒単位のチャンクで音声を処理し、スライディングウィンドウとプレフィックスロールバックを使用して、ライブ音声のコンテキストと安定性を維持します。
  • セグメントモード (Segmented Mode)：メモリと計算コストを管理するため、無音区間に基づいて長い音声をセグメントに分割します。

パフォーマンスを最適化するため、CPU加速にはBLASを、GPUバックエンドにはネイティブカーネルを使用しています。また、CPU推論ではメモリマップドウェイト（memory-mapped weights）を採用し、メモリオーバーヘッドを削減しています。

対象ユーザー

  • 開発者：音声テキスト変換をアプリケーションに統合するための、軽量で依存関係のないCライブラリを探している方。
  • システム管理者：重いPythonランタイムなしで、リモートのLinuxサーバー上でASRを実行する必要がある方。
  • ユーザー：低スペックのIntel/AMDプロセッサや特定のAMD/NVIDIA GPUを含む、控えめなハードウェアでQwen3-ASRモデルを実行したい方。

ハイライト

  • 最小限の依存関係：CPUビルドにはC標準ライブラリとBLAS実装のみが必要です。
  • GPU加速：NVIDIA CUDAおよびAMD ROCmバックエンドをネイティブサポート。
  • 柔軟な入力：WAVファイルおよびstdin経由の音声（ffmpegなどからのパイプ）をサポート。
  • リアルタイム診断：Unicodeシンボルを使用してstderr上でパイプラインの進行状況を可視化する「モニターモード」。
  • 言語とプロンプトの制御：特定のターゲット言語を強制したり、システムプロンプトを提供してスペルや専門用語を調整したりすることが可能。
  • ストリーミング機能：メモリと計算量を制限するスライディングウィンドウを備えた無制限のストリーミングをサポート。

関連

  • プロジェクト
    AgriciDaniel/jev-seo

    jev‑seo は、サイトをクロールし、52 の Google ベースのルールをチェックし、Core Web Vitals を測定し、TypeSafe の Jev LLM を使用してページ品質を判断する Python ベースの SEO 監査ツールです。PDF、Excel トラッカー、Markdown レポートを出力し、オプションで DataForSEO のキーワードとバックリンクデータで監査を強化できます。

  • プロジェクト
    ajsahni/agents-office

    Agents Office は、Claude を35人の役割ベースAIエージェントチームとして活用できるベータ版、ローカル実行型の視覚的プラットフォームです。タスクを入力すると、システムが適切なエージェント（またはチーム）にルーティングし、Claude Codeコネクタ（Gmail、Slack、Chromeなど）を使って作業を実行。結果は個人用「Brain」フォルダにノートとして保存されます。カスタマイズ可能な概要/スキル、定期ルーティン、カレンダー表示、チーム分割、モデル/努力レベル選択、非営利ライセンスなどの機能を備えています。

  • プロジェクト
    chenxiachan/thoughtdag

    ThoughtDAG は、LLM チャットの各ターンを無限キャンバス上のノードに変換するオープンソースのデスクトップ/ウェブアプリです。ノード（ワイヤー）を接続または切断することで、次のリクエストのコンテキストとなる過去のターンを正確に決定でき、会話の分岐、枝刈り、マージが可能です。過去のセッションを検索するためのローカルインデックス、関連性ランキングのためのオプションの Jev 決定モデル、クイックルックアップ用の CLI、DeepSeek Harness プラグインが含まれています。Homebrew、npm、またはソースからインストールできます。OpenAI 互換または Ollama エンドポイントを設定できます。機能には、ドキュメントのサイドバイサイドクリッピング、パスの圧縮/ウィービング、ノードごとのモデル選択、グラフの「Thought Map」としてのエクスポート、読み取り専用共有が含まれます。MIT ライセンスで、積極的にメンテナンスされています。

  • プロジェクト
    OpenLabs-so/openanalytics

    OpenAnalyticsは、自己ホスト可能なオープンソースでプライバシー最優先のウェブ分析プラットフォームです。小さなJavaScriptトラッカー、完全なバックエンド（コレクター、ワーカー、API、ClickHouseストレージ、リアルタイムSSE、ダッシュボード、CLI）を提供し、DNT/GPCを尊重、クッキーを使用せず、日次で回転するハッシュ化された訪問者IDのみを保存します。スタックはコンテナ化されており、AGPL-3.0（トラッカーはMIT）でリリースされ、リソースが限られたLinuxマシンやNeonホストPostgresで動作可能です。