- …
- …
#184
summarized by : Seitaro Shinagawa
どんな論文か?
RNNやブースティングのような複数モジュールを使って時系列に推論するモデルにおける推論時の計算時間を減らすため、微分可能な計算停止機構を導入することで、問題の難しさに応じて計算ステップ数を調整できるDACTを提案。VQAタスクで有効性を示した。
新規性
Adaptive Computation Time (ACT、 文献7)のような、シグモイド関数による停止機構はRNNやブースティングのようなアンサンブル学習において有効性が示されていたが、ACTは問題の難しさに応じた適切な計算ステップ数を計算することが困難だった。本論文ではこれがACTの微分不可能性にあると着目し、微分可能な機構を導入した。
結果
CLEVRによるVQAタスクで評価し、DACTがACTに比べて問題文に応じて適応的にステップ数を変化させられることを示した。
その他(なぜ通ったか?等)
- …
- …