facebookresearch/eb_jepa

何を解決するか

EB-JEPA は、予測および計画のための表現を学習するためのライブラリです。エネルギーベースの共同埋め込み予測アーキテクチャ（JEPA）を実装しており、画像や動画などのデータの未来の状態や表現を、すべてのピクセルを生成する必要なく予測できるようにします。代わりに、データの根本的な構造に注目します。

動作方法

このライブラリは、共同埋め込み予測アーキテクチャのフレームワークを提供します。以下のさまざまなモダリティの実装を含んでいます：

• Image JEPA：ラベルなし画像（例：CIFAR-10）から自己教師付き表現を学習し、分類タスクで評価します。
• Video JEPA：フレームのシーケンスにおける次の画像表現を予測します。
• AC Video JEPA：JEPAを世界モデルと計画と組み合わせ、シミュレートされた環境（Two Rooms）で動作します。

対象ユーザー

自己教師付き学習、世界モデル、視覚およびロボット/計画タスク向けの予測アーキテクチャに取り組むAI研究者および開発者を主な対象としています。

特徴

• 自己教師付き学習：画像および動画におけるラベルなしデータから学習します。
• 世界モデルと計画：シミュレートされた環境での計画の例を含みます。
• Conda/uv パッケージ管理：インストールを容易にするための現代的なPythonパッケージ管理をサポートします。
• H100 GPU最適化：デフォルト設定はハイエンドGPU向けに最適化されており、旧式のハードウェアにも柔軟に対応可能です。