#243
summarized by : Hirokatsu Kataoka
Satellite Image Time Series Classification With Pixel-Set Encoders and Temporal Self-Attention

どんな論文か?

衛星画像処理において、従来再帰的畳み込みネット(Convolutional-Recurrent Network)が使用されているが、ランダムに取得したピクセルと時系列の自己注意機構(Self-attention mechanism)を用いることで枠組みを置き換えることに成功した。
placeholder

新規性

衛星画像の時空間処理において、従来の再帰的畳み込みネットを置き換える枠組みを提案した。2ステップに分かれており、前段はPointNetを参考に画像からランダムに取り出したピクセルをMLP(Multi-Layer Perceptron)により処理、後段では自己注意機構を用いて時間的な処理を実行。詳細な構造は画像参照。

結果

穀物の状況を推定する問題設定において、従来型(e.g. CNN+GRU, ConvLSTM)よりも良好な精度@OA, mIoUを実現。学習時間の面では従来法に劣る面もあるが、推論時間やディスクサイズの面では良好。精度においては例えばCNN+GRUと比較すると94.2 vs. 93.8@OA, 50.9 vs. 48.1@mIoU。

その他(なぜ通ったか?等)

ある種オーソドックスなCVPRの通し方。方法論(今回はピクセルのランダムサンプル+MLP, 自己注意機構を用いた時間処理)を確立し、従来法よりも良好な精度を達成。比較的ニッチな領域を狙った点も多少は効いている。