HeyWillow/willow

Open source, local, and self-hosted Amazon Echo/Google Home competitive Voice Assistant alternative

해결하는 문제

Willow는 언어 추론 작업을 위한 플랫폼으로, 음성-텍스트 변환(STT), 텍스트-음성 변환(TTS) 및 대규모 언어 모델(LLM) 처리 기능을 제공합니다. WebRTC 애플리케이션 지원을 포함하여 이러한 모달리티에 대해 빠른 추론을 제공하는 것을 목표로 합니다.

작동 방식

Willow는 셀프 호스팅이 가능한 추론 서버로 작동하여, 사용자가 언어 관련 AI 작업을 로컬 또는 자체 인프라에서 실행하여 고속 성능을 달성할 수 있도록 합니다.

대상 사용자

STT, TTS 및 LLM 작업을 위해 자체 추론 서버를 호스팅하고자 하는 얼리 어답터와 개발자를 위해 설계되었습니다.

주요 특징

  • 셀프 호스팅 가능한 추론 서버
  • 음성-텍스트 변환(STT) 지원
  • 텍스트-음성 변환(TTS) 지원
  • LLM 추론 기능
  • WebRTC 애플리케이션과 호환 가능

관련

  • 프로젝트
    QuentinFuxa/WhisperLiveKit

    최신 동시 음성 연구와 다중 모델 백엔드를 활용한 초저지연, 자체 호스팅 가능한 음성-텍스트 변환 파이프라인. 실시간 자막 생성 및 번역을 가능하게 합니다.

  • 프로젝트
    KoljaB/RealtimeTTS

    문자열, 제너레이터, LLM 토큰 스트림에서 저지연 오디오 생성을 위한 Python 텍스트-투-스피치 라이브러리로, 다양한 로컬 및 클라우드 TTS 엔진을 지원합니다.

  • 프로젝트
    yomorun/yomo

    지리적으로 분산된 아키텍처를 사용하여 지연을 줄이는 오픈소스 LLM 함수 호출 프레임워크로, 확장 가능하고 초고속 AI 에이전트를 구축할 수 있습니다.

  • 프로젝트
    llm-d/llm-d

    llm‑d는 오픈소스이며 CNCF 사ند박스 프로젝트로, 기존 LLM 모델 서버(vLLM, SGLang)에 프로덕션 수준의 라우팅, KV 캐시 계층화, 전문가 병렬 처리를 추가합니다. Kubernetes용 Helm 차트로 제공되어 다양한 가속기 유형에서 대규모 언어 모델을 낮은 지연과 높은 스루풋으로 확장하여 제공할 수 있게 합니다.

  • 프로젝트
    microsoft/LMOps

    LLM 프롬프트, 추론 속도, 컨텍스트 처리를 개선하여 AI 제품을 구축하기 위한 기본 기술에 초점을 맞춘 연구 이니셔티브입니다.