Skyrimのための低遅延AIゲーミングコンパニオンの構築

開発者の pantelisk は、Skyrim 内でユーザーと共にプレイするように設計されたインテリジェントなゲーミングコンパニオン「Varkos」を開発しました。対話に主に焦点を当てる従来のAI NPCフレームワークとは異なり、Varkos は高い世界への関与度（world agency）と低遅延を実現するために構築されており、自然言語のコマンドに基づいてゲーム世界内で複雑で多段階の物理的アクションを実行することができます。

低遅延アーキテクチャとパフォーマンス

クラウドベースの LLM 実装に共通する没入感を損なう遅延を避けるため、Varkos はハイブリッドなローカル推論スタックを利用しています。このシステムは、プレイヤーの音声が始まり次第すぐに処理を開始するように設計されており、最適なケースでは合計レスポンスタイムを 500ms 未満にすることを目指しています。

技術スタック

Audio Processing: システムは、カスタムカーネルを備えた最適化された Qwen3-ASR 1.7b モデルを使用しています。カスタムハーネスが音声をローリング・パーシャル（40-80ms）で処理し、ストリーミング音声からテキストへの変換をサポートします。
Voice Activity Detection (VAD): プレイヤーが話し終えたか、あるいは AI を遮ったかどうかを判断するために、Turnpipe と Silero の最適化されたバージョンが使用されています。
Audio Generation: Varkos は、レスポンスの複雑さに応じて、高速生成（20-30ms）のための PocketTTS-Raven と、より高い感情制御のための Qwen-3-TTS を採用しています。
Hardware: ゲームは Windows 上で動作しますが、「脳」と音声処理は M4 MacBook 上で動作しています（ただし、著者は、約 12GB の専用 GPU RAM を備えた Windows 上で完全に動作させることも可能であると述べています）。

遅延予算の内訳

Component	Latency
Voice to Text	40-80ms
Action Analysis	20ms
Response Generation & Grounding	300-600ms
Audio Generation	20-60ms

Action Latent Encoder (ALE) による世界への関与度

Varkos の核心的な差別化要因は、Action Latent Encoder (ALE) です。これは、埋め込み（embeddings）、小さな分類器、明示的なルール、および従来の機械学習を組み合わせたハイブリッドシステムです。ALE により、Varkos は、すべての決定を大規模な LLM にのみ頼ることなく、自然言語を接地された（grounded）ゲームアクションへと変換することができます。

主な機能

複雑なコマンドの分解: Varkos は多段階の指示を処理できます。例えば、「ここで待機し、矢の合図の後にポーションを持ってきて」というコマンドは、将来のトリガーを登録し、特定のイベントをゲーム状態から監視することを伴います。
接地されたアイテム検索: アイテムをハルシネーション（幻覚）させる代わりに、Varkos は実際のゲーム世界の JSON 状態を検索して、特定のオブジェクトを特定し、取得します。
持続的な目標: 「かくれんぼ」のようなアクティビティは、単一の API コールではなく、移動と完了条件を伴う持続的なプランとして扱われます。
言い回しの不変性: ALE は言い回しの変化に対して不変であるように設計されています。ユーザーが「剣を掴め」と言っても「あの忌々しい剣を持ってこい」と言っても、システムはリクエストを同じアクション・プロトタイプにマッピングします。

パーソナリティの進化と「Void Mode"

リアルタイムのアクションはローカルで処理されますが、Varkos は、ゆっくりとしたパーソナリティの進化のためにクラウド LLM コールを使用します。このプロセスは非同期で行われ、共有された体験に基づいてコンパニオンの特性や感情的なホメオスタシスを更新します。

動的なキャラクター成長

Varkos は、犬として転生した、皮肉屋でプライドの高い悪魔として始まります。時間の経過とともに、共有された体験を通じて、より家畜化され、愛情深くなることがあり、プレイヤーの扱い方によって語彙や行動が変化します。

クロスゲーム・パーシステンス（Void Mode）

Varkos は、Skyrim の外部でも独立したエンティティとして存在します。ゲームを閉じると、彼は「Void Mode」に入り、音声を通じてコミュニケーションを継続することができます。このこのアーキテクチャにより、コンパニオンが異なるゲームをまたいでプレイヤーを追跡し、遷移する際に新しい環境やルールに適応することが可能になります。

コミュニティ・インサイトと技術的議論

Hacker News のコミュニティメンバーは、「愛すべきサイドキック」というペルソナの感情的な響きを強調し、AI の時折の失敗がキャラクターの性格として自然に感じられると指摘しています。

"What's great is that the LLMisms fold neatly into 'dumb but lovable sidekick.' So even when it chokes or stumbles on a command, the kind of frustration the user expresses when correcting it feels natural and part of the game even."

その他の技術的議論は、このアプローチをコンソールゲームへの統合（専用の AI ハードウェアを介して）の可能性や、将来の「Live」マルチモーダル・モデルが、話しながら非同期的にツールを呼び出せるようになる可能性に焦点を当てています。