허깅 페이스 오픈 소스 AI 게임 잼 결과

허깅 페이스는 2023년 7월 7일부터 7월 11일까지 첫 번째 오픈 소스 AI 게임 잼을 개최했으며, 개발자들에게 최소 하나의 오픈 소스 AI 도구를 사용하여 게임을 만들도록 도전했습니다. 이 행사는 1,300명 이상의 참가자 중에서 88개의 게임 제출작을 이끌어냈으며, 빠른 게임 개발에서 오픈 소스 AI의 다재다능함을 보여주었습니다.

게임 잼 프레임워크 및 평가

경쟁은 '확장'이라는 주제를 중심으로 진행되었으며, 개발자들은 이 주제를 자유롭게 해석하도록 권장되었습니다. 독점적인 AI 도구 사용이 허용되었지만, 주요 목표는 게임의 생성 또는 워크플로에 오픈 소스 AI 도구를 통합하는 것이었습니다.

게임은 세 가지 주요 기준으로 평가되었습니다:

• 재미
• 창의성
• 주제 준수

동료 및 기여자 평가를 통해 상위 10개 작품으로 좁혀졌으며, 그 중에서 Dylan Ebert, Thomas Simonini, Omar Sanseviero로 구성된 심사위원단이 최종 우승자를 선정했습니다.

우승 작품: Snip It

오픈 소스 AI 게임 잼의 1등 수상작은 Snip It이며, ohmlet이 개발했습니다(코드: Ruben Gres; AI 자산: Philippe Saade; 음악/SFX: Matthieu Deloffre). 이 게임에서 플레이어는 그림이 살아있는 박물관을 방문하여, 그림 속의 객체를 오려내어 비밀을 밝혀야 합니다. 이 프로젝트는 시각 자산을 생성하기 위해 Stable Diffusion을 사용했습니다.

상위 결승 진출작 및 AI 구현

열한 개의 게임이 상위 결승 진출작으로 선정되었으며, 생성 예술부터 강화 학습에 이르기까지 다양한 AI 응용 사례를 보여주었습니다:

생성 예술 및 자산

• Yabbit Attack: 배경 시각에 Stable Diffusion을 사용했습니다.
• Expanding Universe: 행성과 별 텍스처에 Dream Textures Blender 애드온(Stable Diffusion 기반)을 사용하고, 설명에는 LLM을 사용했습니다.
• Hexagon Tactics: The Expanding Arena: 실행 가능한 버전에서 캐릭터 생성을 위해 Stable Diffusion 1.5를 통합했습니다.
• Apocalypse Expansion: 이미지에 Stable Diffusion을 사용하고, 사운드트랙에 **MusicGen (melody 1.5B)**를 사용했습니다.
• Singularity: 미래 게임 생성의 개념 시연에 Stable Diffusion을 사용했습니다.

게임플레이 메커니즘 및 로직

• Yabbit Attack: 자연 선택과 진화를 기반으로 한 유전 알고리즘을 구현하여 적응형 적대 신경망을 만들었습니다.
• Word Conquest: 단어 무관성을 기반으로 지도를 생성하기 위해 all-MiniLM-L6-v2 모델과 GloVe 임베딩을 사용했습니다.
• Galactic Domination: 강화 학습 기반 봇 AI를 위해 Unity ML-Agents를 활용했습니다.

코딩 및 오디오

• Everchanging Quest: 코딩에 Starcoder(오픈 소스)를 사용하고, 타일 및 객체 배치에는 GPT-4(독점적)를 함께 사용했습니다.
• Fish Dang Bot Rolling Land: 캐릭터 목소리를 생성하기 위해 Text To Speech (TTS) 모델을 통합했습니다.
• Galactic Domination: 음성에 Elevenlabs, 음악에 Soundful, 이미지에 Scenario를 사용했습니다.

AI 게임 개발을 위한 리소스

허깅 페이스는 게임 엔진에 AI를 통합하는 데 도움이 되는 여러 기술적 리소스를 제공했습니다:

• Unity Hugging Face API: 설치 및 통합 지침
• AI Speech Recognition: Unity에서 ASR 구현 튜토리얼
• Transformers.js: ML 기반 웹 게임 생성 리소스
• Awesome AI Tools for Game Dev: GitHub에서 이용 가능한 도구의 큐레이션된 모음