Lanceの紹介：マルチモーダル生成と理解のための統合3Bモデル

生成AIの展望は、長らく断片化されてきました。画像生成、動画合成、視覚的理解には、それぞれ専用のモデルが割り当てられてきました。専門化されたモデルは特定のニッチな分野で優れていることが多いものの、動画を分析してから編集するといった、単一のアプリケーションのために複数のパイプラインを維持するオーバーヘッドは非常に大きくなります。

ByteDanceは、3Bのアクティブパラメータを持つネイティブな統合マルチモーダルモデルであるLanceによって、この課題に対処しました。異なるモデルを繋ぎ合わせるモジュール式システムとは異なり、Lanceは単一のフレームワーク内で画像と動画の理解、生成、および編集を処理するように設計されており、これらの多様なタスク間の相乗効果を目指しています。

統合マルチモーダルフレームワーク

Lanceは「ネイティブ」な統合モデルです。つまり、複数のモダリティをゼロから扱うように構築されています。その主な目標は、「理解」（識別タスク）と「生成」（生成タスク）の間のギャップを埋めることです。

技術的なハイライト

  • 効率的なスケール: わずか3Bのアクティブパラメータにより、Lanceはパフォーマンスを犠牲にすることなく効率性を追求するように設計されており、大規模な10B以上のパラメータモデルよりも利用しやすくなっています。
  • ゼロからの学習: 既存のViTとVAEエンコーダーを利用していますが、Transformerバックボーンは、段階的なマルチタスクレシピを使用して完全にゼロから学習されました。これにより、モデルの内部表現が、タスクの統合的な性質に最適化されることが保証されます。
  • 計算予算: このモデルは、128枚のA100 GPUという比較的制約された予算内で開発され、トレーニングの効率性に焦点を当てていることを示しています。

多才な能力

Lanceのアーキテクチャは、さまざまなメディアタイプにわたる幅広いタスクを実行することを可能にします。モデルは、これらの多様なリクエストを処理するための統合されたコマンドラインインターフェースを提供します。

1. 生成

  • Text-to-Image (t2i): テキストプロンプトから高忠実度の画像を生成します。
  • Text-to-Video (t2v): テキストによる説明から動画シーケンス（最大121フレーム）を作成します。

2. 編集

  • Image Editing: テキストによる指示に基づいて既存の画像を修正します。
  • Video Editing: 動画コンテンツに変更を適用します。これには、モデルが複数の連続する編集にわたって一貫性を維持する、マルチターンの一貫性編集のサポートも含まれます。

3. 理解

  • Image Understanding (x2t_image): 視覚的質問回答（VQA）や、複雑な画像ベースの推論（例：円グラフの分析やナンバープレートの読み取り）を実行します。
  • Video Understanding (x2t_video): 動画に対して簡潔または詳細なキャプションを提供し、クリップ内のアクションやオブジェクトに関する特定の質問に答えます。

パフォーマンスベンチマーク

Lanceは、生成専用モデルおよび他の統合モデルの両方と比較して評価されています。結果は、その小規模なスケールが競争力に影響しないことを示唆しています。

画像生成 (GenEval & DPG-Bench)

GenEvalにおいて、Lanceは0.90の総合スコアを獲得し、TUNAと並び、Janus-Pro-7B (0.80) や OmniGen2 (0.80) といったより大きなモデルを上回りました。 DPG-Benchでは、「Relation」タスクにおいて特に強みを示し、93.38を記録しました。これは、比較されたほぼすべてのモデルよりも高い数値です。

画像編集 (GEdit-Bench)

Lanceは画像編集において強力なパフォーマンスを示し、平均スコア7.30を達成しました。これは、InternVL-U (6.66) や BAGEL (6.52) といった他の統合モデルを上回る結果です。

動画生成 (VBench)

VBenchの評価において、Lanceは85.11を記録し、Emu3 (80.96) や Show-o2 (81.34) といった他の統合モデル、さらにはいくつかの生成専用モデルをも上回りました。

デプロイメントと使用方法

開発者や研究者向けに、LanceはGitHubおよびHugging Faceで利用可能です。推奨される環境は、Python 3.10+、CUDA 12.4+、および推論には少なくとも40GBのVRAMを備えたGPUが必要です。

ユーザーは、統合されたスクリプト (inference_lance.sh) または、より視覚的な体験を提供するGradioインターフェースを介してモデルと対話できます。モデルは、image_768res や video_480p を含むさまざまな解像度をサポートしています。

コミュニティの反応

技術的な成果は称賛されていますが、コミュニティからの初期のフィードバックでは、混雑したAIエコシステムにおける命名の課題が指摘されています。あるユーザーは、既存の人気プロジェクトである lance/lancedb との混同の可能性があると指摘し、検索結果でプロジェクトをより明確に際立たせるためには、別の名前が適当であったかもしれないと示唆しています。

Sources