Oxen-AI/Oxen

它解决了什么问题

Oxen 是一个专为大型数据集设计的数据版本控制系统，解决了 Git 和 Git LFS 的限制。它允许用户对大量数据（包括机器学习训练数据和模型权重）进行版本控制、跟踪变更和协作，而不会出现传统版本控制系统相关的性能瓶颈。

它的运作方式

Oxen 使用类似 Git 的界面（如 init、add、commit 和 push 等命令），让数据版本控制像代码版本控制一样直观。它以 Rust 构建，以实现高性能，能在数秒内索引数十万个文件。系统支持多种数据类型（图像、音频、视频、文本和表格数据，如 Parquet 文件），并使用专门的元数据提取器和 Merkle 树来实现快速访问。它可以通过 CLI、Python 包或 HTTP API 使用，也可以托管在 Oxen.ai 上，或通过 oxen-server 自行托管。

适用对象

它主要针对管理大型训练和评估数据集的机器学习工程师和数据科学家，以及处理游戏素材或工作室媒体的开发人员。

重点特色

• 类似 Git 的人体工学：使用熟悉的命令，让熟悉 Git 的人都能轻松上手。
• 高性能：针对数百万个文件和 TB 级数据的索引和同步进行了优化。
• 原生表格数据处理：专门设计用于索引和查询 CSV、Parquet 和 JSONL 文件。
• 灵活部署：支持 CLI、Python 绑定和自行托管选项。
• 跨平台支持：CLI 和 Python 客户端可在 Linux、macOS 和 Windows 上运行。