- …
- …
#406
summarized by : 角田良太朗
どんな論文か？
2画像の遠景位置合わせタスクにおいてdeep learningによりhomographyを推定する。既存手法は画像全体の特徴量を用いるために、複数の平面が写っている場合にどの平面をベースにhomographyを計算するか判断できず精度が低下する問題があり、本論文では主要平面を明示的にマスクとして出力することで改善を試みる。
新規性
主要平面の決定にunsupervisedなGANを用いた点。generatorはalignできた領域を出力、discriminatorはそのalignmentが大域的なものか局所的なものかを判定する。これにより大域的＝主要平面由来のhomographyが誘導される。加えてhomography推定にmultiscaleなattentionを使用したのも工夫点。
結果
SIFT等の古典手法や近年の既存手法と比較して、natural image datasetで定性的に分かる程度の精度向上を示している。定量的にもSOTAを大幅に更新。maskが定性的に正しい主要平面を捉えていることや、distance thresholdによるinlinearの割合を見ることでrobustnessも実証している。
その他（なぜ通ったか？等）
GANのdiscriminator学習において、fakeにはalign部分のみマスクをかけているがrealにはマスクをかけていない。これでdiscriminatorが短絡学習しないのは不思議だが、realにもマスクをかけるとgeneratorがマスクを全て無効として返したらしい。
https://github.com/megvii-research/HomoGAN
- …
- …