kornia/kornia

它解决了什么问题

Kornia 提供了一个可微分的计算机视觉库，允许将传统的图像处理和几何视觉算法直接集成到深度学习流水线中。它通过使这些操作可微分，解决了经典计算机视觉与现代人工智能之间的鸿沟问题，从而能够在 PyTorch 生态系统中使用自动微分和 GPU 加速。

它如何工作

基于 PyTorch 构建，Kornia 将广泛的视觉算子实现为张量。这使得批量变换成为可能，并支持使用梯度进行优化。该库组织成几个关键组件：

• 可微分图像处理：包括滤波器（高斯、Sobel）、变换（仿射、单应性）和增强（CLAHE、伽马校正）。
• 高级数据增强：提供复杂的数据增强流水线，包括自动增强策略（如 RandAugment）。
• AI 模型：集成预训练模型以完成人脸检测（YuNet）、特征匹配（LoFTR、LightGlue）和分割（SAM）等任务。
• 几何核心：处理相机模型、标定、立体视觉和三维变换。

适合谁使用

Kornia 针对的是从事计算机视觉领域的 AI 研究人员和开发者，特别是那些需要将经典视觉算法集成到神经网络训练或推理工作流中的用户。

特色亮点

• 可微分算子：超过 500 个支持自动微分的操作。
• GPU 加速：与 PyTorch 无缝集成，实现高性能处理。
• 全面的几何支持：对对极几何、单应性以及李群有强大的支持。
• 半精度支持：对 float16 和 bfloat16 数据类型进行了广泛测试和充分支持。
• ONNX 集成：可通过 ONNXSequential 实现 ONNX 模型的链式调用和导出。