kornia/kornia

解決的問題

Kornia 提供了一個可微分的電腦視覺函式庫，允許傳統的影像處理與幾何視覺演算法直接整合至深度學習流程中。它透過使這些運算可微分，解決了古典電腦視覺與現代人工智慧之間的差距問題，使其能在 PyTorch 生態系統中與自動微分和 GPU 加速一起使用。

如何運作

基於 PyTorch 建構，Kornia 將廣泛的視覺運算實作為張量。這允許批量轉換以及使用梯度進行優化。該函式庫組織成幾個關鍵組件：

• 可微分影像處理：包含濾波器（Gaussian、Sobel）、轉換（Affine、Homography）以及增強（CLAHE、Gamma Correction）。
• 進階增強：提供複雜資料增強的流程，包括自動增強策略（如 RandAugment）。
• AI 模型：整合預訓練模型，用於人臉偵測（YuNet）、特徵匹配（LoFTR、LightGlue）以及分割（SAM）等任務。
• 幾何核心：處理相機模型、校準、立體視覺與 3D 轉換。

適用對象

Kornia 專為從事電腦視覺的 AI 研究人員與開發者設計，特別是那些需要將古典視覺演算法整合至神經網路訓練或推論工作流程的人。

特色亮點

• 可微分運算子：超過 500 種支援自動微分的運算。
• GPU 加速：與 PyTorch 無縫整合，實現高效能處理。
• 全面的幾何支援：對對極幾何、單應性與李群有穩健的支援。
• 半精度支援：廣泛測試並支援 float16 與 bfloat16 資料類型。
• ONNX 整合：可使用 ONNXSequential 串接並匯出 ONNX 模型。