Hugging Face 开源 AI 游戏 Jam 结果

Hugging Face 于 2023 年 7 月 7 日至 7 月 11 日举办了首届开源 AI 游戏 Jam,挑战开发者使用至少一个开源 AI 工具创建游戏。活动吸引了超过 1,300 名报名者,最终收到 88 次游戏提交,展示了开源 AI 在快速游戏开发中的多功能性。

游戏 Jam 框架与评估

比赛围绕主题「EXPANDING」展开,鼓励开发者自由解读。虽然允许使用专有 AI 工具,但主要目标是将开源 AI 工具融入游戏的创作或工作流程。

游戏评估基于以下三个主要标准:

  • 趣味性
  • 创意
  • 主题契合度

同行和贡献者的评估将范围缩小到前 10 名,最终由 Dylan Ebert、Thomas Simonini 和 Omar Sanseviero 组成的评审团选出冠军。

获胜作品:Snip It

开源 AI 游戏 Jam 的第一名得主是 Snip It,由 ohmlet 开发(Code: Ruben Gres;AI 资产:Philippe Saade;音乐/音效:Matthieu Deloffre)。在这款游戏中,玩家参观一个博物馆,其中的画作栩栩如生,玩家需要剪裁画中的物品以揭开秘密。该项目使用 Stable Diffusion 生成其视觉资产。

入围作品及其实现的 AI

共有 11 款游戏被评为入围作品,展示了从生成艺术到强化学习的广泛 AI 应用:

生成艺术与资产

  • Yabbit Attack:使用 Stable Diffusion 生成背景视觉。
  • Expanding Universe:使用 Dream Textures Blender 插件(由 Stable Diffusion 驱动)生成行星和星星纹理,并使用 LLM 生成描述。
  • Hexagon Tactics: The Expanding Arena:在可执行版本中集成 Stable Diffusion 1.5 进行角色生成。
  • Apocalypse Expansion:使用 Stable Diffusion 生成图像,并使用 MusicGen (melody 1.5B) 创作配乐。
  • Singularity:使用 Stable Diffusion 展示未来游戏生成的概念演示。

游戏机制与逻辑

  • Yabbit Attack:基于自然选择和进化的遗传算法实现了敌人的自适应神经网络。
  • Word Conquest:使用 all-MiniLM-L6-v2 模型和 GloVe 嵌入根据词语无关性生成地图。
  • Galactic Domination:使用 Unity ML-Agents 实现基于强化学习的机器人 AI。

编码与音频

  • Everchanging Quest:使用 Starcoder(开源)进行编码,同时使用 GPT-4(专有)进行瓦片和对象放置。
  • Fish Dang Bot Rolling Land:集成了文本转语音(TTS)模型以生成角色声音。
  • Galactic Domination:使用 Elevenlabs 进行配音,Soundful 进行音乐,Scenario 进行图像生成。

AI 游戏开发资源

Hugging Face 提供了多项技术资源,以支持在游戏引擎中集成 AI:

  • Unity Hugging Face API:提供安装和集成指南。
  • AI Speech Recognition:提供在 Unity 中实现 ASR 的教程。
  • Transformers.js:提供创建基于机器学习的网页游戏的资源。
  • Awesome AI Tools for Game Dev:GitHub 上可用工具的精选汇编。

Sources