QwenAudio/qwen-audio-agent

해결하는 문제

Qwen Audio Agent는 AI 대화 중 발생하는 "대기 시간"을 방지하는 실시간 음성 런타임을 제공합니다. 에이전트가 백그라운드 작업 수행, 도구 호출, 복잡한 정보 처리 등을 할 때 발생하는 대화의 공백 문제를 해결하여, 작업 중에도 어시스턴트가 항상 존재하며 상호작용할 수 있도록 보장합니다.

작동 원리

이 프로젝트는 음성 프론트엔드와 백엔드 에이전트를 분리하는 3계층 아키텍처를 사용합니다. 음성 프론트엔드는 즉각적인 전이중 실시간 상호작용(듣기 및 말하기)을 처리하고, 백엔드 에이전트는 비동기 작업(도구 사용, 파일 작업, 코딩)을 실행합니다. 이를 통해 사용자는 백엔드 에이전트가 작업을 수행하는 동안에도 계속 대화하거나 진행 상황을 물어볼 수 있으며, 작업이 완료되면 결과가 자연스럽게 대화로 돌아옵니다.

대상 사용자

데스크톱 생산성 도구, 스마트 콕핏, 고객 서비스, 그리고 잠재적인 체화 지능(Embodied Intelligence)을 위한 음성 기반 AI 어시스턴트를 구축하는 개발자와, 기존 AI 에이전트에 지속적이고 지연 시간이 짧은 음성 인터페이스를 추가하려는 사용자를 위해 설계되었습니다.

주요 특징

• 전이중 상호작용: 자연스러운 끼어들기와 지속적인 다중 턴 음성 대화를 지원합니다.
• 모듈형 프론트엔드: 다양한 클라우드 서비스(Qwen, OpenAI, Gemini, Doubao, StepAudio) 및 로컬 배포(Hugging Face Speech-to-Speech, MiniCPM-o)와 호환됩니다.
• 에이전트 통합: ACP 아키텍처를 통해 다양한 백엔드 에이전트(예: Qwen Code, Claude Code, DeepSeek Harness)를 원클릭으로 통합할 수 있습니다.
• 멀티 플랫폼 UI: WebUI, 터미널 TUI, 그리고 macOS, Windows, Linux용 데스크톱 플로팅 오브를 제공합니다.
• 세션 간 메모리: 사용자별 장기 개인화 및 메모리 기능을 포함합니다.