digantamisra98/Mish

해결하는 문제

Mish는 깊은 신경망의 성능을 향상시키기 위해 설계된 자기 정규화 비단조 활성화 함수입니다. 기존의 ReLU나 Swish와 비교해 더 매끄럽고 조건이 좋은 손실 표면을 만들어 모델이 최적화하기 쉬운 환경을 제공함으로써 더 높은 정확도와 낮은 손실을 달성하고자 합니다.

작동 방식

Mish는 수학적으로 $f(x) = x \tanh(\ln(1 + e^x))$ 로 정의됩니다. 이는 매끄럽고 연속적인 함수이며, 매개변수적 연속성의 차수는 $C^\infty$ 입니다. 본 프로젝트는 이 함수의 도함수가 전처리기(pre-conditioner) 역할을 하여 기울기를 매끄럽게 하고 네트워크 내 정보 흐름을 개선한다고 가정합니다.

대상 사용자

특히 컴퓨터 비전 및 언어 처리 작업에서 깊은 신경망을 구축하고 있는 머신러닝 연구자 및 실무자에게 적합합니다. 모델 수렴성과 정확도를 향상시키기 위해 대체 활성화 함수를 찾고 계신 분들께 추천합니다.

주요 특징

• 정확도 향상: ImageNet 데이터셋에서 ResNet, DarkNet, DenseNet 등 다양한 아키텍처에서 Top-1 및 Top-5 정확도 향상이 입증되었습니다.
• 매끄러운 손실 표면: 시각화 결과 ReLU 및 Swish와 비교해 더 안정적이고 최적화하기 쉬운 손실 표면이 나타납니다.
• 광범위한 통합: PyTorch, MXNet, TensorFlow JS, OpenVino 등 주요 프레임워크에 통합되어 있습니다.
• 최고 성능: CSP-p7 + Mish를 사용해 MS-COCO test-dev 데이터셋에서 객체 탐지에서 최고 성능을 기록했습니다.