digantamisra98/Mish

What it solves

Mish는 자체 정규화된 비단조 활성화 함수로, 딥 뉴럴 네트워크의 성능을 향상시키기 위해 설계되었습니다. 전통적인 활성화 함수(ReLU 등)의 한계를 극복하고, 더 부드러운 프로파일과 조건이 좋은 손실 풍경을 제공함으로써 모델이 더 빠르게 수렴하고 높은 정확도를 달성하도록 돕습니다.

How it works

Mish는 식 $f(x) = x \tanh(\ln(1 + e^x))$ 로 정의됩니다. 비단조 함수이므로 단순히 증가만 하는 것이 아니라 작은 음의 디프가 존재합니다. 이러한 특성과 $C^\infty$ 연속성이 결합되어 학습 중 그래디언트가 더 부드러워집니다. 프로젝트는 이 부드러움이 사전 조건자로 작용해 그래디언트 하강 과정을 보다 안정적이고 최적화하기 쉽게 만든다고 가정합니다.

Who it’s for

이 프로젝트는 머신러닝 연구자와 엔지니어, 특히 컴퓨터 비전 및 언어 작업에서 딥러닝 모델을 구축하는 사람들을 위한 것입니다. 표준 활성화 함수를 교체하여 정확도를 높이고 학습 손실을 줄이고자 하는 경우에 적합합니다.

Highlights

• Improved Accuracy: Demonstrated higher Top-1 and Top-5 accuracy across various architectures like ResNet, DarkNet, and DenseNet on ImageNet.
• Smoother Loss Landscapes: Visualizations show that Mish provides a more well-conditioned and easier-to-optimize loss landscape compared to ReLU and Swish.
• Broad Integration: Integrated into major frameworks including PyTorch, TensorFlow JS, MXNet, and OpenVino.
• SOTA Performance: Contributed to state-of-the-art results in object detection on the MS-COCO dataset using CSP-p7 + Mish.