- …
- …
#90
summarized by : Norikatsu Sumi
どんな論文か？
360度画像に対して，Depth Estimationをする論文
従来研究（Tangent Images for Mitigating Spherical Distortion[CVPR2020]）に対して，以下２点の問題にアプローチした．
(1)パッチをマージしたときのartifactが出て，不連続な予測がされる．
(2)パッチごとの予測では，グローバルな情報が使われない．
新規性
各パッチのマージにTransformerを使って，End-to-Endに学習できるようにしたこと．
グローバルな情報を使うために，予測したDepthを再度embeddingして，繰り返しrefinementする予測のプロセス．
結果
Stanford2D3D, Matterport3D, 360D の 3つの360度画像データセットで，解像度512×1024または256×512で評価して，RMSEなどの指標指標でSOTAを達成．
その他（なぜ通ったか？等）
https://github.com/yuyanli0831/OmniFusion
従来手法: https://github.com/meder411/Tangent-Images
従来手法では，パッチごとの予測を重み付き和する部分でも工夫をしていたが，グローバルな情報を使っていなかった．
Ablation Studyでは，FoV／切り出すパッチ数，解像度，Encoderなども検討されている．
- …
- …