Oxen-AI/Oxen

何を解決するか

Oxen は大規模なデータセットに特化したデータバージョン管理システムです。Git LFS などのツールでは、数百万ファイルやテラバイト規模のデータ（特に機械学習のトレーニングデータやモデル重み）を扱う際に遅く、使いにくいというパフォーマンスのボトルネックや使い勝手の問題が生じますが、Oxen はこれを解決します。

動作方法

Oxen は init、add、commit、push などのコマンドを用いる Git に似たインターフェースを提供してデータのバージョン管理を行います。Rust で構築されており、高いパフォーマンスを実現し、CLI、Python パッケージ、HTTP API を提供しています。メルクルツリーを用いてメタデータをキャッシュし、高速なアクセスを実現。さまざまなファイルタイプに対応する専用エクストラクタも搭載しています。ユーザーは Oxen.ai 上にデータをホストするか、oxen-server を使ってセルフホスティングが可能です。

対象ユーザー

主に、画像、音声、動画、テキスト、表形式データなどの大規模なデータセットをバージョン管理し、チームと協働する必要がある機械学習エンジニアやデータサイエンティスト向けです。

特徴

• Git に似た使いやすさ: 熟知したコマンドを使用するため、Git を知っている人ならすぐに導入できます。
• 高いパフォーマンス: 数十万ファイルのインデックス作成や同期を数秒で処理するよう最適化されています。
• 広範なデータ対応: モデル重み、Parquet、JSONL、メディアファイルなど大容量ファイルを扱えます。
• ネイティブな表形式データ処理: CSV、Parquet、JSONL ファイルをネイティブにインデックス化・クエリ可能。
• 柔軟なデプロイメント: 管理型クラウドサービス（Oxen.ai）と oxen-server を用いたセルフホスティングの両方をサポート。