undreamai/LLMUnity

Create characters in Unity with LLMs!

What it solves

LLMUnity 讓遊戲開發者能直接在 Unity 引擎中整合大型語言模型（LLM）。它解決了在不需要持續網路連線或昂貴雲端 API 呼叫的情況下，打造能即時與玩家對話的智慧、互動式 AI 角色的困難。

How it works

此專案使用名為 LlamaLib（基於 llama.cpp）的後端，在使用者的機器上本地執行 LLM。它提供 Unity 專屬的元件，如 LLM 用於模型管理、LLMAgent 用於角色行為。開發者可以載入 .gguf 模型、定義系統提示以設定角色角色，並使用 C# 腳本觸發聊天。亦支援遠端伺服器配置，讓 LLM 在另一台機器上執行，Unity 客戶端透過 IP 連線。

Who it’s for

Unity 遊戲開發者與互動體驗創作者，想在 PC、行動裝置或 VR 平台的專案中加入 AI 驅動的 NPC、聊天機器人或動態敘事。

Highlights

  • Local Execution: 在 CPU 與 GPU（Nvidia、AMD、Apple Metal）上本地執行，確保資料隱私與離線可用性。
  • Cross-Platform: 相容於 PC、行動（iOS/Android）與 VR。
  • RAG System: 包含檢索增強生成系統，用於語意搜尋以提升角色知識。
  • Flexible Control: 支援語法限制（GBNF）以產生結構化輸出（如 JSON）與函式呼叫。
  • Model Support: 相容所有主要的 GGUF 格式 LLM 模型。