xikhar/persona

해결하는 문제

Persona는 데스크톱의 음성 기반 AI 어시스턴트에게 시각적 정체성을 제공합니다. 다른 애플리케이션의 오디오 출력에 반응하는 실시간으로 표현력 있는 3D 캐릭터 아바타를 만들어 "보이지 않는" 음성 상호작용의 문제를 해결하고, 상호작용을 더 구체적이고 존재감 있게 만듭니다.

작동 방식

Persona는 시스템의 오디오 출력(Linux의 경우 PipeWire, Windows의 경우 WASAPI, macOS의 경우 Core Audio를 통해)을 청취하여 AI 어시스턴트가 말하고 있는지 감지하는 크로스 플랫폼 데스크톱 애플리케이션입니다. .vrm 및 .vrma 파일을 사용하여 해당 오디오 활동에 기반한 "Idle(대기)" 및 "Speaking(발화)" 애니메이션을 수행하는 3D 캐릭터를 렌더링합니다. Model Context Protocol(MCP) 서버를 통해 AI 에이전트와 통합할 수 있으며, 에이전트가 특정 사용자 정의 애니메이션을 트리거하거나 아바타의 가시성을 제어할 수 있습니다.

대상 사용자

로컬 또는 클라우드 기반 음성 AI 스택에 시각적 동반자를 원하는 사용자, 그리고 데스크톱에서 사용자에게 구체적이고 표현력 있는 시각적 존재감을 제공하려는 AI 에이전트를 개발하는 개발자를 위한 것입니다.

주요 특징

• 크로스 플랫폼 지원: Windows, macOS, Linux에서 작동합니다.
• 오디오 반응형: 선택된 프로세스의 음성 출력을 자동으로 감지하여 발화 애니메이션을 트리거합니다.
• MCP 통합: 연결된 AI 에이전트가 특정 애니메이션을 트리거하고 아바타의 상태를 보고할 수 있도록 합니다.
• 사용자 정의 가능한 아바타: 사용자 정의 .vrm 모델 및 .vrma 애니메이션 가져오기를 지원합니다.
• 데스크톱 펫 동작: 아바타가 다른 창 위에 떠다니며 상호작용을 방해하지 않는 "클릭 스루" 모드를 포함합니다.
• 커서 추적: 캐릭터의 눈과 머리가 마우스 포인터를 추적할 수 있습니다.