Oxen-AI/Oxen

解決する課題

Oxen は、大規模データセット向けに特別に設計されたデータバージョン管理システムであり、Git と Git LFS の制限に対処します。ユーザーは、機械学習のトレーニングデータやモデルの重みを含む大量のデータを、従来のバージョン管理システムに関連するパフォーマンスのボトルネックなしに、バージョン管理、変更の追跡、および共同作業を行うことができます。

仕組み

Oxen は、Git に似たインターフェース（init、add、commit、push などのコマンド）を使用して、データのバージョン管理をコードのバージョン管理と同じくらい直感的にします。高性能のために Rust で構築されており、数十万のファイルを数秒でインデックス化できます。システムは、さまざまなデータタイプ（画像、音声、ビデオ、テキスト、Parquet ファイルなどの表形式データ）をサポートし、専用のメタデータ抽出器とマークルツリーを使用して高速アクセスを実現します。CLI、Python パッケージ、または HTTP API を介して使用でき、Oxen.ai でホストするか、oxen-server を介してセルフホストできます。

対象ユーザー

主に、トレーニングと評価用の大規模データセットを管理する機械学習エンジニアとデータサイエンティスト、およびゲームアセットやスタジオメディアを扱う開発者を対象としています。

ハイライト

• Git のような人間工学：使い慣れたコマンドを使用するため、Git を知っている人なら誰でも簡単に採用できます。
• 高性能：数百万のファイルとテラバイト規模のデータのインデックス化と同期に最適化されています。
• ネイティブな表形式データ処理：CSV、Parquet、JSONL ファイルのインデックス化とクエリに特化して設計されています。
• 柔軟なデプロイ：CLI、Python バインディング、セルフホスティングオプションをサポートしています。
• クロスプラットフォームサポート：CLI と Python クライアントは、Linux、macOS、Windows で動作します。