HeyWillow/willow

Open source, local, and self-hosted Amazon Echo/Google Home competitive Voice Assistant alternative

解决的问题

Willow 是一个语言推理任务平台，提供语音转文本 (STT)、文本转语音 (TTS) 和大语言模型 (LLM) 处理功能。它旨在为这些模态提供快速推理，包括对 WebRTC 应用程序的支持。

Willow 作为一个可以自托管的推理服务器运行，允许用户在本地或自己的基础设施上运行语言相关的 AI 任务，以实现高速性能。

专为想要为 STT、TTS 和 LLM 任务托管自己的推理服务器的早期采用者和开发人员设计。

项目
QuentinFuxa/WhisperLiveKit
利用先进同步语音研究和多种模型后端的超低延迟、自托管语音转文本管道，支持实时转录与翻译。
项目
KoljaB/RealtimeTTS
一款专为从字符串、生成器和 LLM 令牌流中实现低延迟音频生成而设计的 Python 文本转语音库，支持多种本地和云 TTS 引擎。
项目
yomorun/yomo
一个开源的 LLM 函数调用框架，通过地理分布式架构实现低延迟，用于构建可扩展、超快速的 AI 代理。
项目
llm-d/llm-d
llm‑d 是一个开源、CNCF 沙盒项目，为现有 LLM 模型服务器（vLLM、SGLang）添加生产级路由、KV 缓存分层和专家并行能力。以 Kubernetes 的 Helm Chart 形式交付，使组织能够以更低延迟和更高吞吐量，在多种加速器类型上大规模部署大语言模型。
项目
microsoft/LMOps
一项聚焦于基础技术的研究计划，旨在提升 LLM 提示、推理速度与上下文处理，以打造 AI 产品。