kornia: 一個為 PyTorch 提供超過 500 種可微分圖像處理與幾何視覺算子的可微分電腦視覺函式庫

它解決了什麼問題

Kornia 提供了一個可微分的電腦視覺函式庫，允許將圖像處理與幾何視覺演算法直接整合到深度學習流水線中。它消除了在非可微分函式庫（如 OpenCV）與深度學習框架之間切換的需求，為視覺任務實現了自動微分與 GPU 加速。

運作原理

Kornia 基於 PyTorch 建構，將視覺算子實作為可微分模組。這使得梯度可以流經圖像轉換、濾波器與幾何運算。它支援批次轉換，並提供了一套完整的工具，包括：

• 圖像處理：可微分濾波器（Gaussian, Sobel）、色彩轉換與形態學運算。
• 資料增強：用於資料增強（例如 RandAugment）且經過 GPU 加速的複雜流水線。
• 幾何學：用於相機校準、立體視覺與 3D 轉換的工具。
• AI 模型：整合了用於人臉檢測、特徵匹配（LoFTR, LightGlue）與分割（SAM）的預訓練模型。

對象是誰

它專為從事電腦視覺研究的 AI 研究人員與開發人員設計，特別是那些使用 PyTorch 且需要在可微分框架內進行複雜圖像操作以進行訓練或推論的使用者。

重點特色

• 可微分算子：超過 500 種支援自動微分的算子。
• GPU 加速：與 PyTorch 無縫整合，實現高效能處理。
• 多框架支援：透過 Ivy 支援 TensorFlow, JAX 與 NumPy 的相容性。
• 半精度支援：支援 float16 與 bfloat16 以優化記憶體與速度。
• 端到端視覺：將重心轉向整合視覺語言模型（VLM）與視覺語言代理（VLA）。