modal-labs/quillman

What it solves

QuiLLMan은 인간과 같은 즉각적인 음성 상호작용을을 가능하게 하는 음성 채팅 애플리케이션입니다. 양방향 스트리밍과 효율적인 오디오 압축을 사용하여 일반적으로 음성 AI와 관련된 지연 문제를 해결합니다.

How it works

이 앱은 음성 대 음성 언어 모델 (Moshi) 및 스트리밍 인코더/디코더 (Mimi)를 사용하여 지속적으로 듣고, 계획하고, 응답합니다. 양방향 websocket 스트리밍 아키텍처와 Opus 오디오 코덱을 사용하여 네트워크를 통해 오디오 데이터를 압축하여 저지연 응답을 보장합니다.

Who it’s for

언어 모델 기반의 음성 애플리케이션을 구축하기 위한 시작점이나 플레이그라운드를 찾는 개발자들을 위한 것입니다. \n## Highlights

• Speech-to-Speech: Moshi 모델을 사용하여 지속적인 리스닝과 응답을을 가능하게 합니다.
• Low Latency: 양방향 websockets와 Opus 압축을 통해 거의 즉각적인 응답 시간을 달성성합니다.
• Full Stack: React 프론트엔드와 Modal에 호스팅된 FastAPI 백엔드를 포함합니다.
• Serverless Deployment: Modal에 쉽게 배포포할 수 있도록 설계되어, 애플리케이션이 사용되지 않을 때 scale to zero가 가능합니다.