ついに誕生！期待の新しい活性化関数「Mish」解説

BRANK

３つの要点 その１ ReLU、Swishに次ぐ新たな活性化関数Mishを提案 その２ MNISTやCIFAR-10/100などでReLUとSwishを圧倒 その３ 論文筆者実装のGitHubレポは早速600以上のスターを持ち、非常に簡単に使える Mish: A Self Regularized Non-Monotonic Neural Activation Function written by Diganta Misra (Submitted on 23 Aug 2019 (v1), last revised 2 Oct 2019 (this version, v2)) Subjects: Machine Learning (cs.LG); Computer Vision and Pattern Recognition (cs.CV); Neural and Evolutionary Computing (cs.NE); Machine Learning (stat.ML) 論文筆者による実装がGitHub上にあります。 本記事で使用している画像は全て論文中から引用しております。 導入 ニューラルネットワークは非線形関数を表現できることにその強さがありますが、その非線形関数を実現しているものこそが、活性化関数です。代表的な活性化関数にSigmoidやReLU (2011)などがありますが、ReLUの後継として2017年にSwishが登場しました。ただご存知のようにReLUが未だデファクトスタンダードとして君臨しています。そんな活性化関数界の流れに終止符を打つべく2019年に登場したのが今回紹介するMi…