microsoft/XPretrain

Multi-modality pre-training

XPretrain – Microsoft Research によるマルチモーダル事前学習

概要 – XPretrain は、video-language（動画と言語）および image-language（画像と言語）のペアを用いた大規模な事前学習のための、研究用コードとデータセットのコレクションです。これは、トップカンファレンス（CVPR 2022, NeurIPS 2022, ICLR 2023）で発表された複数のモデルと、それに付随する HD-VILA-100M データセットをまとめたもので、すべて Microsoft の Multimedia Search & Mining (MSM) グループによるものです。

主要コンポーネント

Modality Model / Dataset Paper (venue) What it does
Video-Language HD-VILA CVPR 2022 100 M-clip HD-VILA-100M データセットを用いた高解像度 video-language 事前学習
Video-Language LF-VILA NeurIPS 2022 長尺動画（数分間）での事前学習
Video-Language CLIP-ViP ICLR 2023 テンポラル・プーリング・モジュールを追加することで、image-language CLIP パラダイムを動画に適合させる
Image-Language Pixel-BERT arXiv 2020 生のピクセルから学習される end-to-end image-language transformer
Image-Language SOHO CVPR 2021 (oral) 量子化されたビジュアル・トークンを用いて Pixel-BERT を改善
Image-Language VisualParsing NeurIPS 2021 解析目的関数を用いた Transformer ベースの image-language 事前学習

入手可能なもの

  • Code：各モデルのコード（学習スクリプト、モデル定義、評価ユーティリティ）がサブフォルダ（hd-vila/, LF-VILA/, CLIP-ViP/, など）に格納されています。
  • Pre-trained checkpoints：論文とともに公開されている、video captioning、video-question answering、image-text retrieval など、ダウンストリーム・タスクへのファインチューニングが可能なチェックポイントです。
  • HD-VILA-100M dataset：大規模な事前学習のために公開された、高解像度 video-text ペアのコレクションです。

典型的なユースケース

  • 新しい video-language モデルを構築する研究者は、公開されたチェックポイントから開始し、独自のデータでファインチューニングを行うことができます。
  • 動画検索、キャプション生成、またはマルチモーダル検索などのタスクに強力な video-text エンコーダーを必要とする実務家。
  • 解像度、時間的長さ、またはトークン量子化がマルチモーダル学習に与える影響を研究する学者。

はじめに

  1. リポジトリをクローン：git clone https://github.com/microsoft/XPretrain.git。
  2. 必要な Python パッケージをインストール：README は各サブフォルダ内の requirements.txt を指しています。
  3. 各モデルのディレクトリにある README（例：hd-vila/README.md）に従って、データの準備、学習、および推論コマンドを実行してください。
  4. データセットについては、hd-vila-100m/ フォルダ内の HD-VILA-100M ファイルをダウンロードしてください（リンクはそこに記載されています）。

コミュニティと貢献

  • 貢献は Microsoft の CLA に基づいて受け入れられます。PR を作成すると、ボットがプロセスを案内します。
  • 事前学習済みモデルに関するヘルプが必要な場合は、Issue を作成してください。直接的な質問については、著者 Bei Liu または Jianlong Fu に連絡してください。

なぜ重要なのか XPretrain は、いくつかの最先端のマルチモーダル事前学習パイプラインを一つの場所に集約しており、コミュニティが結果を再現、新しいアイデアをベンチマーク、および大規模な video-language 表記法を活用することを、大規模な学習インフラをゼロから構築することなく容易にしています。

関連

  • プロジェクト
    microsoft/DebugMCP

    DebugMCPはMicrosoftのVS Code拡張機能で、ローカルなMCPサーバーを実行し、デバッグ操作（開始/停止、ステップ実行、ブレークポイント、変数の確認、式の評価）をツールとして公開します。Copilot、Cursor、CodexなどMCP互換のAIアシスタントが呼び出せます。多くの言語で即時対応し、ポート3001で完全にローカルで動作し、ループバック専用バインディング、ホスト検証、シークレットマスクなどのセキュリティチェックを備えています。併用される *debug-live* スキルにより、AIエージェントがVS Code内ですべてのデバッグを自律的に実行できるようになります。

  • プロジェクト
    baxtree/subaligner

    Subaligner は、字幕と動画／音声を同期するオープンソースの Python/CLI ツールです。Whisper を用いた音声認識、HuggingFace モデルによる字幕翻訳、カスタム同期モデルの訓練も可能。多数の字幕およびメディアフォーマットをサポートし、高速なグローバルシフト（`single`）と高精度の二段階（`dual`）同期を提供。Docker、pip、およびLLMベースの機能用オプション拡張も利用可能。

  • プロジェクト
    MooreThreads/torch_musa

    torch_musa は、Moore Threads GPU用の **MUSA** バックエンドを追加する PyTorch 拡張です。標準の PyTorch API を模倣しており、`cuda` を `musa` に置き換えるだけで利用可能です。C/C++ 拡張のビルドツール、**mccl** バックエンドによる分散トレーニング、および簡単なセットアップ用の Docker イメージを含んでいます。また、torchvision、torchaudio、およびその他の人気 PyTorch ライブラリの MUSA 対応ビルドも提供しています。事前ビルドされた wheel からインストールするか、MUSA SDK をインストール後にソースからビルドできます。プロジェクトは BSD ライセンスです。

  • プロジェクト
    rome-os/rome

    Romeは、人間とAIエージェントが永続的で自己ホスティング可能な環境で協働できるオープンソースの「エージェントOS」です。**Rome Apps**（git追跡されたパッケージ）を導入し、アクション、エージェント、スキル、UI、データを含む機能を単一のチャットを超えて維持します。Docker/Electronでローカル実行またはプレビュー版Rome Cloudを利用し、提供されたSDKでアプリを開発し、アプリストアで共有可能です。プラットフォームはモデルのプロンプトだけでなく、組み合わせ可能で再利用可能なソフトウェアに焦点を当てており、永続的エージェントサービスと個人用ソフトウェアプラットフォームの間の位置づけです。