Kazama-Suichiku/Houdini-Agent
Houdini Agent - DCC Asset Manager with AI capabilities
解決的問題
Houdini Agent 是專為自動化與優化 SideFX Houdini 中複雜的程序化 3D 工作流程而設計的 AI 助手。它透過一個能直接操作軟體環境的自主代理,消除手動建構節點網路、撰寫 VEX/Python 程式碼以及取得 3D 資產的繁瑣工作。
作法原理
本專案以獨立的桌面應用程式運作,透過輕量級橋接連接到正在執行的 Houdini 會話。它使用由 OpenAI 的 Function Calling 協定驅動的自主代理循環,讓 AI 能規劃任務、執行工具並根據結果進行迭代。
主要機制包括:
- 代理模式:提供「代理模式」以進行完整場景變更、「詢問模式」用於唯讀分析,以及「計畫模式」以在執行前建立帶有 DAG 流程圖的結構化執行計畫。
- 工具整合:代理可存取超過 50 個工具,用於節點操作(建立、連接與修改節點)、幾何分析(透過預先最佳化的 Python 程式碼「技能」系統)以及系統層級執行(Python 與 Shell)。
- 3D 生成:整合 Meshy AI API,從文字或影像生成帶紋理的 3D 模型,並自動以 GLB 資產形式導入 Houdini,附帶 PBR 材質。
- 記憶與上下文:採用受大腦啟發的三層記憶系統(情節記憶、語義記憶與程序記憶),使代理能從過去互動中學習,同時使用者定義的上下文規則提供持續性指示。
適用對象
希望加速程序化生成工作流程、自動化重複性節點設定,或直接將生成式 AI 3D 資產整合至場景中的技術藝術家、3D 通才與 Houdini 使用者。
主要亮點
- 自主循環:支援多輪工具呼叫與複雜任務分解為可追蹤的子任務。
- Meshy AI 整合:提供從文字/影像到 3D 的完整流程,支援重新貼圖與重拓撲,並附有互動式概念畫廊,支援人機協同選擇。
- 深度整合:可讀取節點網路、執行 VEX wrangles,並透過聊天中的可點擊路徑導航至特定節點。
- 進階 UI:採用現代 QML/Qt Quick「Mono Editorial」介面,具備即時 Token 分析、串流程式碼預覽與雲端資產圖書館功能。
- 可擴充性:支援社群擴充的外掛系統,以及透過 OpenRouter 或自訂端點接入多種 AI 提供者(DeepSeek、OpenAI、Claude 等)。
相關
- 專案
- 專案
- 專案
- 專案