Hugging Face AI Sheets ビジョンアップデート
Hugging Face は、コード不要でオープンAIモデルを使用してデータセットの構築、変換、強化を行うことを目的としたオープンソースツール AI Sheets に対し、大幅なアップデートをリリースしました。主な追加点は包括的なビジョンサポートで、ユーザーはスプレッドシートのワークフロー内で直接画像を分析・データ抽出・ビジュアルコンテンツの生成ができるようになります。
ビジョンベースのデータ抽出と分析
AI Sheets は、ユーザーが画像をアップロードしたり、画像ベースのデータセットを使用したりして、ビジョンモデルを用いて情報を抽出・構造化することを可能にします。この機能により、領収書、商品カタログ、スキャンされた文書などの非構造化ビジュアルデータを整理されたテーブルに変換できます。
主な機能は次のとおりです：
- Structured Data Extraction: ユーザーはカスタムプロンプトを使用して、領収書の特定項目、チャートのデータ、スキャン文書のテキストなどを抽出できます。
- Image Description and Categorization: ツールは写真のキャプション生成、文書タイプの分類、コンテンツに基づく画像タグ付けが可能です。
- Metadata Generation: モデルは画像に品質スコア、関連属性、カスタム注釈などを自動的にラベル付けできます。
ユーザーはプロンプトを繰り返し調整したり、結果を手動で編集したり、"thumbs-up" メカニズムでモデルに少数ショット例を提供して精度を向上させることができます。
統合された画像生成と編集
抽出に加えて、AI Sheets は画像から画像へのモデルとテキストから画像へのモデルを統合し、スプレッドシート内でのコンテンツ作成を支援します。
- Text-to-Image Generation: ユーザーはテキスト列に基づいてソーシャルメディア用グラフィック、サムネイル、イラストなどを作成できます（例：レシピタイトルから料理の写真を生成）。
- Image Transformation: 既存の画像をスタイル変更、要素追加、構図調整などに変更できます。
- Image Variations: ツールはテストやブランディング目的で、ビジュアルの複数バージョンを大規模に作成することをサポートします。
技術的実装とモデルの柔軟性
AI Sheets は Hugging Face Inference Providers を活用し、数千のオープンモデルへのアクセスをユーザーに提供します。これにより、タスクの具体的な要件に応じてモデルを切り替え、速度と精度のバランスを取ることができます。
手書きレシピからテキストを抽出する例では、ツールはモデル階層間の違いを示しました：
- Qwen/Qwen2.5-VL-7B-Instruct: 速度と精度のバランスを取るデフォルトとして使用。
- Qwen/Qwen3-VL-235B-A22B-Reasoning: 最先端の推論モデルで、特定の材料（例："spinach"）や正確な調理時間（例："50-60 min"）などの微細なディテール検出において、より高精度であることが示されました。小型モデルでは見逃されました。
ワークフローとエクスポートオプション
AI Sheets のワークフローは、データ取り込みから最終エクスポートまでの直線的な流れです：
- Upload: ユーザーは画像フォルダをアップロードするか、データセットに接続します。
- AI Actions: ユーザーは列に対して操作を適用します。画像列はテキスト抽出、オブジェクト検出、カラー化をサポートし、テキスト列は要約、翻訳、キーワード抽出をサポートします。
- Enrichment: 抽出されたテキストはさらに処理できます（例：生の文字起こしを構造化HTMLに変換）。
- Export: 最終データセットは CSV または Parquet 形式で Hugging Face Hub（公開または非公開）にエクスポートできます。
AI Sheets は、即時利用可能なホスト型 Space として提供されるほか、GitHub リポジトリを通じてローカルにデプロイすることもできます。