digantamisra98/Mish

What it solves

Mish は自己正則化された非単調活性化関数で、ディープニューラルネットワークの性能向上を目的としています。従来の活性化関数（例: ReLU）の制限を克服し、より滑らかなプロファイルと条件の良い損失ランドスケープを提供することで、モデルの収束を速め、精度を向上させます。

How it works

Mish は式 $f(x) = x \tanh(\ln(1 + e^x))$ で定義されます。非単調関数であるため、単に増加するだけでなく小さな負のディップがあります。この特性と $C^\infty$ 連続性により、学習時の勾配がより滑らかになります。プロジェクトは、この滑らかさが事前条件付けとして機能し、勾配降下プロセスをより安定かつ最適化しやすくすると仮定しています。

Who it’s for

このプロジェクトは、機械学習の研究者やエンジニア、特にコンピュータビジョンや自然言語処理タスクでディープラーニングモデルを構築している方々を対象としています。標準の活性化関数を置き換えて精度を向上させ、学習損失を削減したい方に最適です。

Highlights

• Improved Accuracy: Demonstrated higher Top-1 and Top-5 accuracy across various architectures like ResNet, DarkNet, and DenseNet on ImageNet.
• Smoother Loss Landscapes: Visualizations show that Mish provides a more well-conditioned and easier-to-optimize loss landscape compared to ReLU and Swish.
• Broad Integration: Integrated into major frameworks including PyTorch, TensorFlow JS, MXNet, and OpenVino.
• SOTA Performance: Contributed to state-of-the-art results in object detection on the MS-COCO dataset using CSP-p7 + Mish.