digantamisra98/Mish

解決的問題

Mish 是一種自我正則化的非單調激活函數，旨在提升深度神經網路的效能。它透過建立更平滑、條件更佳的損失曲面，使模型相比傳統的 ReLU 或 Swish 等函數更容易優化，進而實現更高的準確率與更低的損失。

工作原理

Mish 由數學公式 $f(x) = x \tanh(\ln(1 + e^x))$ 定義。它是一個平滑且連續的函數，具有 $C^\infty$ 的參數連續性。本專案假設其導數扮演預條件器（pre-conditioner）的角色，使梯度更平滑，進而改善網路中的資訊流動。

適用對象

本專案適用於建構深度神經網路（特別是電腦視覺與語言任務）的機器學習研究人員與實務工作者，他們尋找替代性激活函數以提升模型的收斂性與準確率。

主要亮點

• 提升準確率：在 ImageNet 資料集上，ResNet、DarkNet 與 DenseNet 等多種架構均實現了 Top-1 與 Top-5 準確率的提升。
• 更平滑的損失曲面：視覺化結果顯示，與 ReLU 和 Swish 相比，其損失曲面更穩定、更易優化。
• 廣泛整合：已整合至 PyTorch、MXNet、TensorFlow JS 與 OpenVino 等主流框架。
• 達到 SOTA 性能：在 MS-COCO test-dev 資料集上，使用 CSP-p7 + Mish 實現了物件偵測的最優結果。