kornia/kornia

何を解決するか

Korniaは、従来の画像処理および幾何学的ビジョンアルゴリズムをディープラーニングパイプラインに直接統合できる微分可能なコンピュータビジョンライブラリを提供します。PyTorchエコシステム内で自動微分およびGPUアクセラレーションを活用できるように、これらの操作を微分可能にすることで、古典的コンピュータビジョンと現代のAIの間のギャップを埋めます。

どう動くか

PyTorchの上に構築されたKorniaは、さまざまなビジョン演算子をテンソルとして実装しています。これにより、バッチ変換や勾配を用いた最適化が可能になります。ライブラリは以下の主要なコンポーネントに分かれています：

• 微分可能な画像処理：ガウシアン、ソーベルなどのフィルタ、アフィン変換、ホモグラフィーなどの変換、CLAHE、ガンマ補正などの強化機能を含みます。
• 高度なオーグメンテーション：ランダムオーグメンテーション戦略（例：RandAugment）を含む、複雑なデータオーグメンテーションのパイプラインを提供します。
• AIモデル：顔検出（YuNet）、特徴マッチング（LoFTR、LightGlue）、セグメンテーション（SAM）などのタスク向けに事前学習済みモデルを統合しています。
• 幾何学コア：カメラモデル、キャリブレーション、ステレオビジョン、3D変換を処理します。

対象ユーザー

Korniaは、特にニューラルネットワークの学習や推論ワークフローに古典的ビジョンアルゴリズムを統合する必要がある、コンピュータビジョン分野のAI研究者や開発者向けに設計されています。

特徴

• 微分可能な演算子：自動微分をサポートする500以上の演算子。
• GPUアクセラレーション：PyTorchとのシームレスな統合により、高性能な処理が可能。
• 包括的な幾何学サポート：エピポーラ幾何、ホモグラフィー、リー群に対する堅牢なサポート。
• 半精度サポート：float16およびbfloat16データ型に対する広範なテストとサポート。
• ONNX統合：ONNXSequential を使用してONNXモデルをチェーン化およびエクスポート可能。