hmorimitsu/ptlflow

解决的问题

提供一个统一的光学流估计框架，使用户能够在单一、一致的环境中训练和测试多个最先进的深度学习模型，而不是使用分散的原始实现。

工作原理

基于 PyTorch Lightning 构建，该项目整合了广泛的光学流模型（如 RAFT、FlowFormer 和 GMFlow），并支持多种行业标准数据集（包括 Middlebury、VIPER 和 Spring）。它包含用于推理、验证以及模型速度和准确率基准测试的工具。

适用人群

专注于计算机视觉领域，特别是视频帧间运动估计和密集对应关系的研究人员和开发者。

主要亮点

• 丰富的模型库：包含数十个最先进的模型，如 Flow-Anything、FlowSeek 和 NeuFlow。
• 统一接口：通过一致的 API 简化不同架构的训练和测试流程。
• 数据集支持：集成支持多个基准测试，包括 TartanAir、Kubric 和 Monkaa。
• 优化能力：支持大多数模型的 FP16 精度，以提升性能。
• 部署工具：为特定模型（如 RAPIDFlow）提供 ONNX 和 TensorRT 转换功能。