Hugging Face Spaces agents.md が自動3Dマルチメディアパイプラインを可能にする

Hugging Face Spaces agents.md が自動3Dマルチメディアパイプラインを可能にする

TL;DR

コーディングエージェントが、既存の2つのSpace（画像生成用と単一画像3D再構成用）を連鎖させることで、パリの記念碑を3D Gaussian splatとして紹介する静的なHugging Face Spaceを自動的に構築しました。これは、agents.mdがいかにしてあらゆるSpaceをマルチメディアパイプラインのための構成可能なビルディングブロックに変えるかを示しています。

ビルディングブロック・エコノミーがマルチメディアに到達

Mitchell Hashimoto氏が説明する「ビルディングブロック・エコノミー」は、現代のソフトウェア開発が、モノリシックなコードベースよりも、エージェントによって組み立て可能な、ドキュメント化された小さなコンポーネントを好む傾向にあると主張しています。この考え方はコードライブラリに適用されてきましたが、同じ原理が今やマルチメディアAIにも適用されています。最先端の画像、ビデオ、TTS、または3Dモデルを使用する際の最も困難な部分は、従来、統合（SDK、重みファイル、GPU要件、入出力フォーマットなど）でした。各モデルを呼び出し可能なコンポーネントとして公開することで、エージェントはnpmパッケージと同じようにそれらを結合できるようになります。

agents.md がすべての Hugging Face Space を呼び出し可能なブロックにする

Hugging Face Hub上のすべてのGradio Spaceは、そのSpaceをプログラムから呼び出す方法を記述したプレーンテキストの agents.md ファイルを提供しています。典型的な agents.md には以下が含まれます：

API schema:   GET  ../gradio_api/info
Call endpoint: POST.../gradio_api/call/v2/{endpoint} {"param_name": value,...}
Poll result:  GET  ../gradio_api/call/{endpoint}/{event_id}
File inputs:  POST.../gradio_api/upload -F "files=@file.ext"
Auth:         Bearer $HF_TOKEN

クライアントライブラリやハードコードされたSDKは必要ありません。エージェントはこれらの指示を読み取り、HF_TOKEN を設定し、Spaceをエンドツーエンドで駆動できます。真のパワーは、あるSpaceの出力が別のSpaceの入力になるときに現れ、「プロンプト → 画像 → 3D splat」のようなパイプラインが可能になります。

実践例：パリの記念碑 → Gaussian splats

著者はコーディングエージェントに対し、2つのSpaceを使用してパリの記念碑のギャラリーを作成するよう指示しました：

  1. 画像生成 – ideogram-ai/ideogram4 Spaceが、各記念碑（例：パンテオン、オペラ座、エトワール凱旋門、サクレ・クール、エッフェル塔のジオラマ）のクリーンな暗い背景の画像を生成しました。
  2. 3D再構成 – VAST-AI/TripoSplat Spaceが、各単一画像を3D Gaussian splat (.ply) に変換しました。

エージェントは追加の結合作業も行いました：

  • TripoSplatの出力がY軸反転（Y-down）であることを検出し、自動的に垂直に反転させた。
  • 最適な表示のために各記念碑のフレーミングを自動調整した。
  • 高速ロードのために .ply ファイルを .ksplat に圧縮した（約3倍の軽量化）。
  • スクロールによる切り替えとドラッグによる回転操作を備えたThree.jsビューアを生成した。
  • ビューア全体を静的なSpace (mishig/monuments-de-paris) としてデプロイした。

人間の入力は、「もっとズームアウトして」や「オベリスクをsplattingに適した形状に置き換えて」といったハイレベルな好みに限定されました。エージェントは視覚的なフィードバック（例：幅の広いガラスのピラミッドのsplattingが不十分な場合など）にも反応し、それに応じて反復処理を行い、「アウトソーシングされたR&D」ループを実証しました。

プロンプトだけでパイプラインを再利用する

パイプラインは2つの agents.md ファイルによって完全に記述されているため、新しいギャラリーの作成には新しいテキストプロンプトだけで済みます。著者が同じエージェントにエジプトと日本のギャラリーの生成を依頼したところ、以下が生成されました：

  • エジプトの記念碑 – 大ピラミッド、スフィンクス、アブ・シンベル、ツタンカーメンのマスク、カルナック、メンメンの巨像。
  • 日本の記念碑 – 東京タワー、姫路城、金閣寺、大阪城、鎌倉の大仏、厳島神社の大鳥居。

各ギャラリーは、同じ2つのSpace、同じ圧縮ロジック、同じビューアロジックを使用して構築され、テキストによる説明だけが変更されました。これは、新しいマルチメディアアプリの限界費用が、それを記述するコストに近づいていることを示しています。

なぜこれが重要なのか

  • 構成可能なモデル – 異なる組織の最先端の画像および3D再構成モデルを、統合コードを書くことなく連鎖させることができ、Hubのオープンウェイトカタログを呼び出し可能なマルチメディア・プリミティブのライブラリへと変貌させます。
  • エージェントフレンドリーなドキュメント – agents.md はマシン読み取り可能な契約を提供し、Spaceをエージェントにとって即座に到達可能なものにし、手動でセットアップされたモデルよりも再利用を促進します。
  • 統合の障壁の除去 – 以前は専用のエンジニアリング作業を必要としていたタスク（例：「プロンプトから回転する3D記念碑を作る」）が、エージェント主導のパイプラインにおける単一のステップになります。

自分で試してみる

ワークフローを再現するには、任意のコーディングエージェント（例：Claude Code）に2つのSpaceの agents.md ファイルを指し示し、HF_TOKEN を提供してください：

# Image generation Space
curl https://huggingface.co/spaces/ideogram-ai/ideogram4/agents.md

# Single-image to 3-D Gaussian splat Space
curl https://huggingface.co/spaces/VAST-AI/TripoSplat/agents.md

URLをエージェントに入力し、希望するギャラリーを説明すれば、エージェントが画像作成、3D再構成、圧縮、ビューア生成、およびデプロイをオーケストレーションします。完全な再現可能なパイプラインとサポートスクリプトは、monuments-de-paris Space repository で入手可能です。

結論

agents.md は、すべての Hugging Face Space をドキュメント化された呼び出し可能なコンポーネントに変え、エージェントが最小限の人間による指示で複雑なマルチメディアアプリケーションを構成することを可能にします。パリの3Dギャラリーは、単純なプロンプトがいかにして画像合成から3Dレンダリング、ウェブデプロイメントに至るまでのフルパイプラインを駆動できるかを示しており、AIを活用したメディア制作におけるビルディングブロック・エコノミーへの移行を予兆させています。

Sources