Hugging Face Spaces agents.md는 자동 3D 멀티미디어 파이프라인을 가능하게 한다

Hugging Face Spaces agents.md는 자동 3D 멀티미디어 파이프라인을 가능하게 한다

요약

코딩 에이전트가 자동으로 정적 Hugging Face Space를 구축했는데, 이는 두 개의 기존 Space(하나는 이미지 생성용, 다른 하나는 단일 이미지 3‑D 재구성용)를 연결하여 파리 기념비를 3‑D 가우시안 스플랫으로 보여주며, agents.md가 어떤 Space라도 멀티미디어 파이프라인의 조합 가능한 구성 요소로 변환함을 보여준다.

빌딩 블록 경제가 멀티미디어에 도달하다

"빌딩 블록 경제"는 Mitchell Hashimoto가 설명한 바에 따르면, 현대 소프트웨어 개발은 에이전트가 조립할 수 있는 작고 잘 문서화된 구성 요소를 선호하며, 단일적인 코드베이스보다는 이를 선호합니다. 이 아이디어는 코드 라이브러리에 적용되어 왔지만, 동일한 원칙이 이제 멀티미디어 AI에도 적용됩니다. 최첨단 이미지, 비디오, TTS, 또는 3‑D 모델을 사용하는 가장 어려운 부분은 전통적으로 통합이었습니다: SDK, 가중치 파일, GPU 요구 사항, 입력‑출력 형식. 각 모델을 호출 가능한 구성 요소로 노출함으로써, 에이전트는 npm 패키지를 다루듯이 이를 결합할 수 있습니다.

agents.md가 모든 Hugging Face Space를 호출 가능한 블록으로 만든다

Hugging Face Hub의 모든 Gradio Space는 프로그래밍 방식으로 Space를 호출하는 방법을 설명하는 일반 텍스트 agents.md 파일을 제공합니다. 일반적인 agents.md에는 다음과 같은 내용이 포함됩니다:

API schema:   GET  .../gradio_api/info
Call endpoint: POST .../gradio_api/call/v2/{endpoint} {"param_name": value, ...}
Poll result:  GET  .../gradio_api/call/{endpoint}/{event_id}
File inputs:  POST .../gradio_api/upload -F "files=@file.ext"
Auth:         Bearer $HF_TOKEN

클라이언트 라이브러리나 하드코딩된 SDK가 필요하지 않습니다—에이전트는 이러한 지침을 읽고 HF_TOKEN을 설정한 후 Space를 end‑to‑end로 구동할 수 있습니다. 진정한 힘은 한 Space의 출력이 다른 Space의 입력이 될 때 나타나며,これにより prompt → image → 3‑D splat 와 같은 파이프라인을 가능하게 합니다.

예시 작업: 파리 기념비 → 가우시안 스플랫

저자는 두 개의 Space를 사용하여 파리 기념비 갤러리를 만들도록 코딩 에이전트에게 지시했습니다:

  1. 이미지 생성 – ideogram-ai/ideogram4 Space는 각 기념물의 깨끗하고 어두운 배경을 가진 이미지를 생성했습니다(예: 판테온, 오페라, 개선문, 사크레 쾨르, 그리고 에펠 탑의 디오라마).
  2. 3‑D 재구성 – VAST-AI/TripoSplat Space는 각 단일 이미지를 3‑D 가우시안 스플랫(.ply)로 변환했습니다.

에이전트가 수행한 추가 접착 작업:

  • TripoSplat 출력이 Y‑down임을 감지하고 자동으로 upright 방향으로 뒤집었습니다.
  • 최적의 시청을 위해 각 기념물을 자동으로 프레임 조정했습니다.
  • .ply 파일을 .ksplat(약 3배 작게)로 압축하여 빠른 로딩을 가능하게 했습니다.
  • 스크롤‑to‑switch 및 드래그‑to‑rotate 상호작용이 있는 Three.js 뷰어를 생성했습니다.
  • 전체 뷰어를 정적 Space(mishig/monuments-de-paris)로 배포했습니다.

인간 입력은 "더 멀리 줌 아웃" 또는 "더 나은 스플래팅을 위한 형태로 오벨리스크 교체"와 같은 고수준 선호도로 제한되었습니다. 에이전트는 또한 시각적 피드백(예: 넓은 유리 피라미드가 스플래팅에서 poorly 작동함)에 반응하여 그에 따라 반복했으며, 이는 "아웃소스된 R&D" 루프를 보여줍니다.

단지 프롬프트만으로 파이프라인 재사용

파이프라인이 두 개의 agents.md 파일에 완전히 설명되어 있기 때문에, 새로운 갤러리를 만들려면 새로운 텍스트 프롬프트만 있으면 됩니다. 저자는 동일한 에이전트에게 이집트와 일본용 갤러리를 생성하도록 요청했고,その結果 다음과 같은 갤러리가 생성되었습니다:

  • 이집트 기념비 – 대피라미드, 스핑크스, 아부 시멜, 투탕카멘의 마스크, 카르낙, 멤논의 거상.
  • 일본 기념비 – 도쿄 타워, 히메지 성, 킨카쿠지, 오사카 성, 가마쿠라 대불, 이츠쿠시마 도리이.

각 갤러리는 동일한 두 개의 Space, 동일한 압축 및 뷰어 로직을 사용했으며, 오직 텍스트 설명만 변경되었습니다. 이는 새로운 멀티미디어 앱의 한계 비용이それを 설명하는 비용에 가까워짐을 보여줍니다.

왜 이것이 중요한가

  • 조합 가능한 모델 – 다양한 조직의 최첨단 이미지 및 3‑D 재구성 모델은 통합 코드를 작성하지 않고도 연결할 수 있으며, 이로 인해 Hub의 오픈 웨이트 카탈로그가 호출 가능한 멀티미디어 프리미티브 라이브러리로 변환됩니다.
  • 에이전트 친화적 문서화 – agents.md는 기계가 읽을 수 있는 계약을 제공하여 Space를 에이전트가 즉시 접근할 수 있게 하고, 수동으로 설정된 모델보다 재사용을 장려합니다.
  • 통합 장벽 제거 – 이전에 전용 엔지니어링 노력이 필요했던 작업(예: "프롬프트를 회전하는 3‑D 기념비로 변환))은 이제 에이전트 기반 파이프라인의 단일 단계가 되었습니다.

직접 시도해 보기

워크플로를 복제하려면 qualsiasi coding agent(예: Claude Code)를 두 Space의 agents.md 파일을 가리키게 하고 HF_TOKEN을 제공하세요:

# Image generation Space
curl https://huggingface.co/spaces/ideogram-ai/ideogram4/agents.md

# Single‑image to 3‑D Gaussian splat Space
curl https://huggingface.co/spaces/VAST-AI/TripoSplat/agents.md

Insert the URLs into the agent, describe the desired gallery, and let the agent orchestrate image creation, 3‑D reconstruction, compression, viewer generation, and deployment. The full reproducible pipeline and supporting scripts are available in the monuments‑de‑paris Space repository.

결론

agents.md는 모든 Hugging Face Space를 문서화된 호출 가능한 구성 요소로 변환하여, 에이전트가 최소한의 인간 지침으로 복잡한 멀티미디어 애플리케이션을 구성할 수 있게 합니다. 파리 3‑D 갤러리는 간단한 프롬프트가 이미지 합성에서 3‑D 렌더링 및 웹 배포까지 전체 파이프라인을 구동할 수 있음을 보여주며, 이는 AI 기반 미디어 창조를 위한 빌딩 블록 경제로의 전환을 알립니다.

Sources