digantamisra98/Mish

解决的问题

Mish 是一种自正则化的非单调激活函数，旨在提升深度神经网络的性能。它通过构建更平滑、条件更优的损失曲面，使模型比传统的 ReLU 或 Swish 等函数更容易优化，从而实现更高的准确率和更低的损失。

工作原理

Mish 由数学公式 $f(x) = x \tanh(\ln(1 + e^x))$ 定义。它是一个平滑且连续的函数，具有 $C^\infty$ 的参数连续性。该项目假设其导数起到预条件器（pre-conditioner）的作用，使梯度更平滑，从而改善网络中的信息流动。

适用人群

本项目适用于构建深度神经网络（尤其是计算机视觉和语言任务）的机器学习研究人员和实践者，他们希望使用替代激活函数来提升模型的收敛性和准确率。

主要亮点

• 提升准确率：在 ImageNet 数据集上，ResNet、DarkNet 和 DenseNet 等多种架构均实现了 Top-1 和 Top-5 准确率的提升。
• 更平滑的损失曲面：可视化结果显示，与 ReLU 和 Swish 相比，其损失曲面更稳定、更易优化。
• 广泛集成：已集成至 PyTorch、MXNet、TensorFlow JS 和 OpenVino 等主流框架。
• 达到 SOTA 性能：在 MS-COCO test-dev 数据集上，使用 CSP-p7 + Mish 实现了物体检测的最先进结果。