dnhkng/GLaDOS

해결하는 문제

이 프로젝트는 포탈의 GLaDOS의 인격 핵심을 기능적인 음성 보조자로 재현합니다. 실시간 음성 상호작용, 시각 인식, 지속적인 기억 시스템과 특정한 성격(냉소적 유머와 비꼬는 말투)을 통합한 일관된 캐릭터 기반 AI를 구축하는 도전 과제를 해결합니다.

작동 방식

시스템은 공유 컨텍스트에 정보를 공급하는 모듈식 아키텍처의 '코어'로 구성됩니다.

• 중앙 코어: 주요 대화 및 라우팅을 관리합니다.
• 전문 코어: 감정(기쁨, 각성, 지배감 추적), 기억(요약 및 사실), 시각(카메라를 통한 장면 설명), 연구(인터넷 검색)를 위한 독립적인 작업자입니다.
• 자율 코어: 다른 코어에서 수집한 증거를 검토하여, 백그라운드 업데이트가 능동적인 음성 응답을 유도할 만한지 판단합니다.
• 입출력: Gemma 4 E4B를 통해 직접 오디오 입력 또는 텍스트 입력(음성 인식 기반)을 지원합니다. 출력은 사용자 정의 GLaDOS 음성 합성기와 애니메이션 브라우저 아바타로 처리됩니다.
• 통합: Model Context Protocol (MCP)를 통해 외부 도구에 연결 가능하며, Home Assistant와 같은 서비스와 상호작용할 수 있습니다.

대상 사용자

• AI 애호가이자 포탈 시리즈 팬으로, 캐릭터 기반 로컬 AI 보조자를 원하는 사람.
• 전문적인 '마인드'가 공유 컨텍스트에 기여하는 다중 에이전트 아키텍처에 관심 있는 개발자.
• CUDA 또는 ROCm 호환 로컬 GPU 하드웨어를 보유하고 있으며, 멀티모달 음성 보조자를 로컬에서 실행하고자 하는 사용자.

주요 특징

• 다중 모달 상호작용: 네이티브 오디오 처리, 카메라 기반 장면 설명, 음성 합성을 통합합니다.
• 능동적 지능: 자율 코어를 통해 사용자가 요청하지 않아도 백그라운드 관찰 기반으로 말할 수 있습니다.
• 웹 콘솔: 실시간으로 '마인드', 컨텍스트 슬롯, 라우팅 결정을 확인할 수 있는 상세 대시보드.
• 확장 가능한 도구: MCP를 사용해 타사 서비스 및 시스템 명령어와 통합 가능합니다.
• 캐릭터 중심 설계: GLaDOS의 성격을 유지하기 위한 전용 감정 코어를 포함합니다.