Hugging Face AI Sheets 비전 업데이트

Hugging Face는 코드 없이 오픈 AI 모델을 사용해 데이터셋을 구축, 변환 및 풍부하게 만들 수 있도록 설계된 오픈소스 도구인 AI Sheets에 중요한 업데이트를 발표했습니다. 주요 추가 기능은 포괄적인 비전 지원으로, 사용자가 스프레드시트 워크플로우 내에서 직접 시각 콘텐츠를 분석하고, 데이터를 추출하며, 생성할 수 있게 합니다.

AI Sheets는 사용자가 이미지를 업로드하거나 이미지 기반 데이터셋을 활용해 비전 모델을 사용해 정보를 추출하고 구조화할 수 있게 합니다. 이 기능은 영수증, 제품 카탈로그, 스캔 문서와 같은 비구조화된 시각 데이터를 정리된 테이블로 변환합니다.

Key capabilities include:

  • Structured Data Extraction: 사용자는 맞춤 프롬프트를 사용해 영수증의 특정 항목, 차트 데이터, 또는 스캔 문서의 텍스트를 추출할 수 있습니다.
  • Image Description and Categorization: 이 도구는 사진에 대한 캡션을 생성하고, 문서 유형을 분류하거나, 내용에 따라 이미지를 태그할 수 있습니다.
  • Metadata Generation: 모델은 이미지에 품질 점수, 관련 속성 또는 맞춤 주석을 자동으로 라벨링할 수 있습니다.

사용자는 프롬프트를 반복하고, 결과를 수동으로 편집하며, "thumbs-up" 메커니즘을 사용해 모델에 몇 샷 예시를 제공함으로써 출력의 정확성을 향상시킬 수 있습니다.

통합 이미지 생성 및 편집

추출을 넘어, AI Sheets는 이미지-투-이미지 및 텍스트-투-이미지 모델을 통합해 스프레드시트 내에서 콘텐츠 생성을 지원합니다.

  • Text-to-Image Generation: 사용자는 텍스트 열을 기반으로 소셜 미디어 그래픽, 썸네일, 일러스트레이션 등을 만들 수 있습니다(예: 레시피 제목을 기반으로 음식 사진 생성).
  • Image Transformation: 기존 이미지를 스타일을 변경하거나 요소를 추가하고, 구성을 조정하도록 수정할 수 있습니다.
  • Image Variations: 이 도구는 테스트 및 브랜딩 목적을 위해 시각 자료의 여러 버전을 대규모로 생성하는 것을 지원합니다.

기술 구현 및 모델 유연성

AI Sheets는 Hugging Face Inference Providers를 활용해 수천 개의 오픈 모델에 접근할 수 있게 합니다. 이를 통해 사용자는 작업의 구체적인 요구에 따라 모델을 교체하여 속도와 정확성의 균형을 맞출 수 있습니다.

손글씨 레시피에서 텍스트를 추출하는 예시에서, 도구는 모델 티어 간 차이를 보여주었습니다:

  • Qwen/Qwen2.5-VL-7B-Instruct: 속도와 정확성의 균형을 맞추기 위한 기본 모델로 사용되었습니다.
  • Qwen/Qwen3-VL-235B-A22B-Reasoning: 최첨단 추론 모델로, 특정 재료(예: "spinach")와 정확한 조리 시간(예: "50-60 min")과 같은 미세한 세부 사항을 더 정확하게 감지했으며, 작은 모델은 이를 놓쳤습니다.

워크플로우 및 내보내기 옵션

AI Sheets 워크플로우는 데이터 수집부터 최종 내보내기까지 선형 경로를 따릅니다:

  1. Upload: 사용자는 이미지 폴더를 업로드하거나 데이터셋에 연결합니다.
  2. AI Actions: 사용자는 열에 작업을 적용합니다. 이미지 열은 텍스트 추출, 객체 감지, 색채화 등을 지원하고, 텍스트 열은 요약, 번역, 키워드 추출을 지원합니다.
  3. Enrichment: 추출된 텍스트는 추가로 처리될 수 있습니다(예: 원시 전사를 구조화된 HTML로 변환).
  4. Export: 최종 데이터셋은 CSV 또는 Parquet 형식으로 Hugging Face Hub(공개 또는 비공개)로 내보낼 수 있습니다.

AI Sheets는 즉시 사용할 수 있는 호스팅된 Space로 제공되며, GitHub 저장소를 통해 로컬에 배포할 수도 있습니다.

Sources