undreamai/LLMUnity

Create characters in Unity with LLMs!

What it solves

LLMUnity 让游戏开发者能够直接在 Unity 引擎中集成大型语言模型（LLM）。它解决了在不需要持续互联网访问或昂贵云端 API 调用的情况下，创建能够实时与玩家聊天的智能、交互式 AI 角色的难题。

How it works

该项目使用名为 LlamaLib（基于 llama.cpp）的后端，在用户的机器上本地运行 LLM。它提供 Unity 专用组件，如 LLM 用于模型管理，LLMAgent 用于角色行为。开发者可以加载 .gguf 模型、定义系统提示以设定角色角色，并使用 C# 脚本触发聊天。它还支持远程服务器配置，LLM 在另一台机器上运行，Unity 客户端通过 IP 连接。

Who it’s for

Unity 游戏开发者和交互体验创作者，想在 PC、移动或 VR 平台的项目中添加 AI 驱动的 NPC、聊天机器人或动态叙事。

Highlights

  • Local Execution: 在 CPU 与 GPU（Nvidia、AMD、Apple Metal）上本地执行，确保数据隐私和离线可用性。
  • Cross-Platform: 兼容 PC、移动（iOS/Android）和 VR。
  • RAG System: 包含检索增强生成系统，用于语义搜索以增强角色知识。
  • Flexible Control: 支持语法限制（GBNF）以生成结构化输出（如 JSON）和函数调用。
  • Model Support: 兼容所有主流 GGUF 格式的 LLM 模型。