ハイパー関数θを導入し、入力xに基づき、θでLeakyReLUのパラメータを動的に求めるDY-ReLU(Dynamic ReLU)を提案した。

ImageNetによる画像分類でTop-1及びTop-5の正解率の評価を行い、MobileNetV2、MobileNetV3及びResNetにおいてDY-ReLU導入で正解率が向上する結果。また、既存手法とのTop-1の比較で、DY-ReLUはSE(Squeeze-and-Excitation)＋ReLUやMaxoutなどを上回る正解率。

実験した範囲のCNNでは一貫して正解率が向上し、DY-ReLUの入出力の可視化やAblation Studyなども充実しているため通ったと考えられる。