HeyWillow/willow

Open source, local, and self-hosted Amazon Echo/Google Home competitive Voice Assistant alternative

解決的問題

Willow 是一個語言推理任務平台，提供語音轉文字 (STT)、文字轉語音 (TTS) 及大語言模型 (LLM) 處理功能。它旨在為這些模態提供快速推理，包括對 WebRTC 應用程式的支援。

Willow 作為一個可以自託管的推理伺服器運行，允許使用者在本地或自己的基礎設施上執行語言相關的 AI 任務，以實現高速效能。

專為想要為 STT、TTS 及 LLM 任務託管自己的推理伺服器的早期採用者與開發人員設計。

專案
QuentinFuxa/WhisperLiveKit
結合先進同步語音研究與多種模型後端的超低延遲、自架設語音轉文字管道，支援即時轉錄與翻譯。
專案
KoljaB/RealtimeTTS
一款專為從字串、產生器與 LLM 令牌串流中實現低延遲音訊生成而設計的 Python 文字轉語音套件，支援多種本地與雲端 TTS 引擎。
專案
yomorun/yomo
一個開源的 LLM 函式呼叫框架，透過地理分散式架構降低延遲，用於建構可擴展、超快速的 AI 代理。
專案
llm-d/llm-d
llm‑d 是一個開源、CNCF 沙盒專案，為現有 LLM 模型伺服器（vLLM、SGLang）添加生產級路由、KV 快取分層與專家平行能力。以 Kubernetes 的 Helm Chart 形式交付，使組織能夠以更低延遲與更高吞吐量，在多種加速器類型上大規模部署大語言模型。
專案
microsoft/LMOps
一項聚焦於基礎技術的研究計畫，旨在提升 LLM 提示、推論速度與上下文處理，以打造 AI 產品。