undreamai/LLMUnity

Create characters in Unity with LLMs!

What it solves

LLMUnity はゲーム開発者が大型言語モデル（LLM）を Unity エンジンに直接統合できるようにします。常時インターネット接続や高価なクラウド API 呼び出しを必要とせず、リアルタイムでプレイヤーと会話できるインテリジェントでインタラクティブな AI キャラクターを作成する難しさを解決します。

How it works

このプロジェクトは LlamaLib（llama.cpp 上に構築）というバックエンドを使用し、ユーザーのマシン上でローカルに LLM を実行します。LLM（モデル管理）や LLMAgent（キャラクター行動）といった Unity 固有のコンポーネントを提供します。開発者は .gguf モデルをロードし、システムプロンプトでキャラクターの役割を設定し、C# スクリプトでチャットをトリガーできます。また、LLM を別マシンで実行し、Unity クライアントが IP 経由で接続するリモートサーバー構成もサポートしています。

Who it’s for

PC、モバイル、VR プラットフォーム向けに、AI 駆動の NPC、チャットボット、または動的ストーリーテリングをプロジェクトに追加したい Unity ゲーム開発者やインタラクティブ体験のクリエイター向けです。

Highlights

  • Local Execution: CPU と GPU（Nvidia、AMD、Apple Metal）でローカル実行し、データプライバシーとオフライン利用を確保。
  • Cross-Platform: PC、モバイル（iOS/Android）、VR に対応。
  • RAG System: セマンティック検索でキャラクター知識を強化する Retrieval‑Augmented Generation システムを搭載。
  • Flexible Control: 文法制約（GBNF）で JSON などの構造化出力や関数呼び出しをサポート。
  • Model Support: GGUF 形式の主要な LLM モデルすべてに対応。