Calix-L/DanKS

해결하는 문제

DanKS는 숨겨진 정보와 장기적인 전략 계획이 특징인 복잡한 파트너십 카드 게임인 '관단'을 플레이하기 위해 설계된 AI 에이전트입니다. 단순히 지역적으로 최적의 수를 두는 것을 넘어서, 미래의 선택지를 유지하고 팀원과 협력하여 게임을 승리로 이끄는 문제를 해결합니다.

작동 방식

이 시스템은 의사결정을 위한 다단계 파이프라인을 사용합니다:

1. 상태 인코딩: 현재 손패, 공개된 기록, 합법적인 수, 팀 상황을 인코딩합니다.
2. 구조 인식 리트리ieval: 모든 가능한 수를 평가하는 대신, 잔여 손패에 남아 있는 조합을 분석하여 의미 있는 후보 수의 컴팩트한 집합을 식별합니다.
3. 정책 선택: 상태와 후보 수에 따라 조건화된 액터-크리티크 네트워크가 이 후보들을 순위 매기고 최적의 수를 선택합니다.
4. 강화 학습: 현재의 결정과 장기적인 결과를 연결하기 위해 Proximal Policy Optimization (PPO)와 Generalized Advantage Estimation (GAE)를 사용하여 에이전트를 훈련합니다.

후속 버전(V3Pro)은 자산 보호, 동등한 수 규칙, 16장 이하의 카드가 남은 위치에 대한 검증된 엔드게임 검색과 같은 추론 최적화 기능을 추가합니다.

대상 사용자

• 파트너십 게임과 은폐된 정보를 연구하는 AI 연구자
• PPO 및 액터-크리티크 아키텍처를 게임 AI에 구현하고자 하는 개발자
• 오픈소스 웹 서비스 프레임워크를 활용해 카드 게임을 호스팅하고자 하는 게임 개발자

주요 특징

• 진화적 AI 세대: V1의 단순한 NumPy 선택기에서 시작해, PPO로 훈련된 메모리 인식 신경망(V3)으로 진화.
• 통합 웹 서비스: 브라우저에서 플레이 가능한 환경에 AI를 배포하기 위한 두 세대의 오픈소스 웹 게임 서비스(KSPlay) 포함.
• 인간 데이터 통합: 약 900경기 분량의 완전한 대국을 포함한 KSCB 관단 데이터셋에 접근 가능하여 인간의 의사결정을 연구할 수 있음.
• 엔드게임 최적화: V3Pro는 게임의 최종 단계에 특화된 검색 및 최적화 규칙을 구현합니다.