PEPETII/danmuai

무엇을 해결하는가

DanmuAI는 컴퓨터 화면을 위한 "AI 관객"을 생성합니다. 정적인 콘텐츠(라이브 스트림, 게임 또는 녹화 영상 등)를 시청할 때, 화면에서 일어나는 일에 반응하는 실시간 AI 생성 "danmu"(스크롤 댓글)를 추가함으로써 시청 경험을 더욱 상호작용적이고 생동감 있게 만들어 정적인 콘텐츠의 문제를 해결합니다.

작동 방식

애플리케이션은 반응을 생성하기 위해 다음과 같은 특정 파이프라인을 따릅니다:

1. Screen Capture: 지정된 모니터의 스크린샷을 설정된 간격으로 캡처합니다.
2. Visual Analysis: 이 이미지들은 메모리 내에서 압축되어 현재 콘텐츠를 이해하기 위해 시각 능력을 갖춘 AI 모델로 전송됩니다.
3. Comment Generation: AI는 화면 콘텐츠와 설정 가능한 "persona"(성격)를 기반으로 댓글을 생성합니다.
4. Display: 댓글은 화면의 투명한, 항상 위에 표시되는 오버레이에 표시됩니다.
5. Audio: 선택 사항인 Text-to-Speech (TTS)를 통해 다양한 제공업체를 사용하여 댓글을 음성으로 변환합니다.

대상 사용자

• 방송을 위한 자동화된 AI 해설가를 원하는 스트리머 및 콘텐츠 제작자.
• 게임 플레이 중 반응형 AI 동반자를 원하는 게이머.
• 모든 데스크톱 활동에 역동적이고 소셜 미디어 같은 댓글 레이어를 추가하고 싶은 사용자.

주요 특징

• Customizable Personas: AI의 성격, 모델 플랫폼 및 톤을 취향에 맞춰 구성할 수 있습니다.
• Transparent Overlay: 웹 콘솔을 열어둘 필요 없이 다른 창 위에 항상 떠 있는 전용 스크롤 댓글 레이어.
• Multi-Monitor Support: 한 모니터에서 스크린샷을 캡처하고 다른 모니터에 댓글을 표시할 수 있는 기능.
• TTS Integration: 음성 캐싱 및 미리보기를 지원하는 다양한 AI 음성 제공업체(예: MiMo, Qwen3, MiniMax, Doubao V3)를 지원합니다.
• Optional Extensions: 마이크 입력, Live2D 가상 아바타 및 지식 베이스 지원을 포함합니다.