kornia/kornia

해결하는 문제

Kornia는 미분 가능하고 GPU 가속이 필요한 컴퓨터 비전 파이프라인을 구축하는 문제를 해결합니다. 딥러닝에서는 그래디언트가 역전파되어야 하는 신경망 내부에서 이미지 연산(블러, 워핑, 증강 등)을 적용하려는 경우가 많습니다. 기존 CV 라이브러리는 이를 위해 설계되지 않았습니다. Kornia는 PyTorch에 직접 연결할 수 있는 수백 개의 미분 가능한 이미지 처리 및 기하 비전 연산자를 제공하여 이미지를 변환하거나 이해하는 모델을 훈련할 수 있습니다.

작동 방식

Kornia는 PyTorch 위에 구축되었습니다. 모든 연산자는 PyTorch 모듈 또는 함수로 구현되어 자동 미분, 배치 처리, GPU 가속을 즉시 지원합니다. 라이브러리는 필터, 색상 변환, 기하(호모그래피, 카메라 모델, 에피폴라 기하), 증강 시퀀스, 특징 감지 및 매칭, 딥러닝 레이어와 같은 모듈로 구성됩니다. 또한 얼굴 감지, 특징 매칭, 세그멘테이션과 같은 작업을 위한 사전 훈련된 모델도 포함합니다. 최근 추가 사항으로는 ONNX 모델 체이닝과 Stable Diffusion 기반 용해 연산이 있습니다. 프로젝트에는 모듈 전반에 걸쳐 반정밀도(float16/bfloat16) 지원과 CUDA 동작을 추적하는 명시적인 테스트 및 적합성 프레임워크도 있습니다.

대상 사용자

Kornia는 PyTorch를 사용하여 컴퓨터 비전과 딥러닝을 연구하는 연구자와 엔지니어를 대상으로 합니다. 신경망 훈련 루프 내에서 미분 가능한 이미지 변환, 기하 연산, 증강 파이프라인 또는 사전 훈련된 비전 모델이 필요한 모든 사람에게 적합합니다.

주요 특징

• 필터링, 색상, 기하, 모폴로지, 증강 등 500개 이상의 미분 가능한 연산
• PyTorch와의 원활한 통합: 자동 미분, 배치 처리, GPU 가속
• YuNet(얼굴 감지), LoFTR 및 LightGlue(특징 매칭), SAM(세그멘테이션), Vision Transformers를 포함한 사전 훈련된 모델
• 고급 증강 파이프라인: 순차, 패치 기반, 비디오, AutoAugment 및 RandAugment와 같은 자동 방법
• ONNX 체이닝 및 모델 내보내기 지원
• 알려진 실패 매니페스트로 지원을 추적하는 광범위한 반정밀도(float16/bfloat16) 테스트 인프라
• 오픈 소스이며 PyTorch 생태계에서 미분 가능한 CV 및 기하의 참조 구현이 되기 위한 로드맵