Hugging Face Spaces agents.md 實現自動化 3D 多媒體管線

Hugging Face Spaces agents.md 實現自動化 3D 多媒體管線

TL;DR

一個編碼代理（coding agent）透過串聯兩個現有的 Spaces——一個用於圖像生成，另一個用於單圖 3D 重建——自動構建了一個靜態的 Hugging Face Space，將巴黎古蹟展示為 3D Gaussian splats。這展示了 agents.md 如何將任何 Space 轉化為多媒體管線中可組合的構建模組。

構建模組經濟邁向多媒體領域

Mitchell Hashimoto 所描述的「構建模組經濟」（building block economy）認為，現代軟體開發傾向於使用小型、文件齊全且可由代理組裝的組件，而非單體式代碼庫。雖然這個概念已被應用於代碼庫，但同樣的原則現在也適用於多媒體 AI。使用最先進的圖像、影片、TTS 或 3D 模型最困難的部分傳統上在於整合：SDK、權重文件、GPU 需求以及輸入輸出格式。透過將每個模型暴露為可調用的組件，代理可以像處理 npm 套件一樣將它們黏合在一起。

agents.md 使每個 Hugging Face Space 成為可調用的模組

Hugging Face Hub 上的每個 Gradio Space 都提供了一個純文本的 agents.md 文件，描述如何以程式化方式調用該 Space。一個典型的 agents.md 包含：

API schema:   GET  ../gradio_api/info
Call endpoint: POST.../gradio_api/call/v2/{endpoint} {"param_name": value,...}
Poll result:  GET  ../gradio_api/call/{endpoint}/{event_id}
File inputs:  POST.../gradio_api/upload -F "files=@file.ext"
Auth:         Bearer $HF_TOKEN

不需要任何客戶端函式庫或硬編碼的 SDK——代理可以閱讀這些指令，設置 HF_TOKEN 並端到端地驅動該 Space。當一個 Space 的輸出成為另一個 Space 的輸入時，真正的力量就會顯現，從而實現如 提示詞 → 圖像 → 3D splat 之類的管線。

實作範例：巴黎古蹟 → Gaussian splats

作者指示一個編碼代理使用兩個 Spaces 來創建一個巴黎古蹟畫廊：

  1. 圖像生成 – ideogram-ai/ideogram4 Space 產生了每個古蹟清晰的深色背景圖像（例如：先驗教堂 Pantheon、歌劇院 Opéra、凱旋門 Arc de Triomphe、聖心堂 Sacré‑Cœur 以及艾菲爾鐵塔的微縮模型）。
  2. 3D 重建 – VAST-AI/TripoSplat Space 將每張單圖轉換為 3D Gaussian splat (.ply)。

代理還執行了額外的黏合工作：

  • 偵測到 TripoSplat 的輸出是 Y 向下（Y-down）並自動將其翻轉為正向。
  • 為每個古蹟自動構圖以達到最佳視角。
  • 將 .ply 文件壓縮為 .ksplat（體積縮小約 3 倍）以實現快速加載。
  • 生成一個具有滾動切換和拖動旋轉互動功能的 Three.js 查看器。
  • 將整個查看器部署為一個靜態 Space (mishig/monuments-de-paris)。

人類的輸入僅限於高層次的偏好，例如「再縮小一點」或「將方尖碑替換為更適合 splatting 的形狀」。代理還會對視覺回饋做出反應（例如：一個寬大的玻璃金字塔 splatting 效果不佳），並據此進行迭代，展示了一個「外包研發」（outsourced R&D）的循環。

僅需一個提示詞即可重複使用管線

由於管線完全由兩個 agents.md 文件描述，創建一個新畫廊只需要一個新的文本提示詞。作者要求同一個代理為埃及和日本生成畫廊，結果如下：

  • 埃及古蹟 – 大金字塔、獅身人面像、阿布辛貝神廟、圖坦卡蒙面具、卡納克神廟、門農巨像。
  • 日本古蹟 – 東京鐵塔、姬路城、金閣寺、大阪城、鐮倉大佛、嚴島神社鳥居。

每個畫廊都是使用相同的兩個 Spaces、相同的壓縮和查看器邏輯構建的，僅僅改變了文本描述。這證明了開發一個新多媒體應用的邊際成本正趨近於描述它的成本。

這為什麼很重要

  • 可組合模型 – 來自不同組織的最先進圖像和 3D 重建模型可以串聯在一起，無需編寫整合代碼，將 Hub 的開源權重目錄轉化為可調用的多媒體原語庫。
  • 對代理友好的文件 – agents.md 提供了一種機器可讀的合約，使 Space 對代理來說是即時可達的，並鼓勵其重複使用而非手動設置模型。
  • 消除整合障礙 – 以前需要專門工程投入的任務（例如：「將提示詞轉換為旋轉的 3D 古蹟」）現在只是代理驅動管線中的一個步驟。

親自嘗試

若要複製此工作流程，請將任何編碼代理（例如 Claude Code）指向這兩個 Space 的 agents.md 文件並提供 HF_TOKEN：

# 圖像生成 Space
curl https://huggingface.co/spaces/ideogram-ai/ideogram4/agents.md

# 單圖轉 3D Gaussian splat Space
curl https://huggingface.co/spaces/VAST-AI/TripoSplat/agents.md

將 URL 插入代理中，描述所需的畫廊，並讓代理協調圖像創建、3D 重建、壓縮、查看器生成和部署。完整的可重複管線和支持腳本可在 monuments‑de‑paris Space 儲存庫中找到。

結論

agents.md 將每個 Hugging Face Space 轉化為一個有文件記錄、可調用的組件，使代理能夠以極少的人類指導來組合複雜的多媒體應用。巴黎 3D 畫廊展示了簡單的提示詞如何驅動完整的管線——從圖像合成到 3D 渲染和 Web 部署——預示著 AI 驅動媒體創作正向著構建模組經濟轉型。

Sources