HeyWillow/willow

Open source, local, and self-hosted Amazon Echo/Google Home competitive Voice Assistant alternative

解決する課題

Willowは言語推論タスクのためのプラットフォームであり、音声文字変換（STT）、音声合成（TTS）、および大規模言語モデル（LLM）処理の機能を提供します。WebRTCアプリケーションのサポートを含め、これらのモダリティに対して高速な推論を提供することを目指しています。

仕組み

Willowはセルフホスト可能な推論サーバーとして動作し、ユーザーが言語関連のAIタスクをローカルまたは独自のインフラストラクチャで実行して、高速なパフォーマンスを実現できるようにします。

対象者

STT、TTS、およびLLMタスクのために独自の推論サーバーをホストしたい、アーリーアダプターや開発者向けに設計されています。

ハイライト

  • セルフホスト可能な推論サーバー
  • 音声文字変換（STT）のサポート
  • 音声合成（TTS）のサポート
  • LLM推論機能
  • WebRTCアプリケーションとの互換性

関連

  • プロジェクト
    QuentinFuxa/WhisperLiveKit

    最先端の同時音声認識研究と複数のモデルバックエンドを活用した、超低遅延で自己ホスト可能な音声認識パイプライン。リアルタイム字幕生成と翻訳を実現。

  • プロジェクト
    KoljaB/RealtimeTTS

    文字列、ジェネレータ、LLMトークンストリームから低遅延音声生成を実現するPython用音声合成ライブラリ。多数のローカルおよびクラウドTTSエンジンをサポート。

  • プロジェクト
    yomorun/yomo

    地理的に分散されたアーキテクチャを用いて遅延を低減する、スケーラブルで超高速なAIエージェントを構築するためのオープンソースLLM関数呼び出しフレームワークです。

  • プロジェクト
    llm-d/llm-d

    llm‑d は、CNCFサンドボックスプロジェクトとしてオープンソースであり、既存のLLMモデルサーバー（vLLM、SGLang）にプロダクションレベルのルーティング、KVキャッシュの階層化、エキスパート並列を追加します。Kubernetes用のHelmチャートとして提供され、さまざまなアクセラレータタイプで大規模言語モデルを低遅延かつ高スループットでスケールして提供できるようにします。

  • プロジェクト
    microsoft/LMOps

    LLM のプロンプト、推論速度、コンテキスト処理を改善し、AI 製品を構築するための基礎技術に焦点を当てた研究イニシアチブです。