worm128/AI-YinMei

해결하는 문제

AI-YinMei는 AI 기반 가상 스트리머와 인터랙티브 로봇을 만들기 위한 종합 플랫폼입니다. LLM, 텍스트 음성 변환 (TTS), 비전, 라이브 스트리밍 도구와 같은 여러 AI 모달리티를 단일 응집력 있는 시스템으로 통합하여 다양한 플랫폼의 시청자와 실시간으로 상호작용하는 어려움을 해결합니다.

작동 방식

이 시스템은 입력(예: Bilibili, TikTok 등의 라이브 스트림 댓글)을 집계하고 AI 모델 파이프라인을 통해 처리하는 중앙 허브 역할을 합니다. 멀티헤드 어텐션 메커니즘을 사용하여 의도와 감정을 분석하고, 호환 가능한 LLM(OpenAI 표준)에 요청을 라우팅하며, 고성능 스트리밍 TTS(수정된 CosyVoice2 포함)를 사용하여 응답을 생성합니다. MCP 도구를 통해 외부 작업을 트리거하고, Live2D 아바타를 제어하며, MongoDB와 Neo4j의 조합을 사용하여 지식 그래프용 장기 메모리를 관리할 수 있습니다.

대상 사용자

• 가상 스트리머 (VTuber): 상호작용을 자동화하고, AI 기반 노래를 수행하며, 라이브 시청자를 관리하려는 사람.
• AI 애호가: 멀티모달 기능을 갖춘 "즉시 사용 가능한" AI 데스크톱 펫 또는 QQ 로봇을 찾는 사용자.
• 콘텐츠 제작자: AI 생성 아트, 음악, 비디오를 라이브 방송에 통합하려는 사람.

하이라이트

• 멀티모달 통합: LLM, 비전, 음성 인식, 이미지 생성 (Stable Diffusion)을 하나의 플랫폼에 결합.
• 집계된 탄막 채팅: 여러 라이브 스트리밍 플랫폼(Bilibili, Douyin, Kuaishou 등) 및 QQ 로봇 지원.
• 고성능 오디오: 응답 시간이 600ms까지 낮은 스트리밍 TTS와 감정 표현을 개선한 수정된 CosyVoice2를 갖춤.
• 고급 메모리 및 로직: RAG 지식 베이스, 장기 메모리, Neo4j 그래프 데이터베이스를 통한 "확산 사고" 구현.
• 광범위한 도구 세트: 웹 검색, 카메라 모니터링, 컴퓨터 제어와 같은 작업을 위한 27개 이상의 내장 도구 포함.