kevinhughes27/TensorKart

해결하는 문제

TensorKart는 인간의 주행 샘플로부터 학습하여 AI 에이전트가 마리오 카트 64를 자율적으로 주행할 수 있도록 합니다. 이는 레이스 트랙을 주행하기 위해 시각적 게임 상태(스크린샷)를 특정 컨트롤러 입력으로 매핑하는 과제를 해결합니다.

작동 원리

이 프로젝트는 사용자가 조이스틱과 화면 캡처 도구를 사용하여 자신의 게임 플레이를 녹화하는 행동 모방(behavioral cloning) 방식을 사용합니다. 이러한 이미지 입력 및 조이스틱 출력 쌍은 TensorFlow와 cuDNN를 통해 모델을 훈련하는 데 사용됩니다. 훈련이 완료되면 모델은 gym-mupen64plus 환경에 배포되어 에뮬레이터의 실시간 스크린샷을 처리하고 필요한 조이스틱 명령을 예측 및 실행합니다.

대상

모방 학습, 게임에 적용된 자율 주행 개념 및 TensorFlow 구현에 관심이 있는 개발자와 AI 애호가.

주요 특징

• 일반화: 모델은 데이터셋이 작더라도 훈련되지 않은 트랙을 주행할 수 있는 잠재력을 가지고 있습니다.
• Human-in-the-loop: 훈련 샘플을 기록하고 볼 수 있는 도구가 포함되어 있습니다。
• GPU 가속: 더 빠른 훈련 시간을 위해 cuDNN을 활용합니다。
• 수동 오버라이드: 재생 중에 'LB' 버튼을 누르고 있으면 인간 플레이어가 AI 명령을 제어할 수 있습니다.