- …
- …
#281
summarized by : Makoto Sasaki
どんな論文か？
まっすぐな平面ガラスの前に360°カメラを設置する設定における映り込み像の除去を取り扱っている。
360°画像中から映り込みの元である参照画像の探索と、参照画像とガラス面の画像を入力としたautoencoderおよび透過像、反射像のエンコード後特徴量を選別するマスクをzero-shot学習する。これを交互に繰り返し、精度を上げて行くことで高精度に映り込み除去行う。
新規性
360°画像1枚に対してzero-shot learningで反射除去問題に取り組んだ研究としては初ということ。
特にガラスを透過してくる映像より、反射像の方がはっきりしているような難しいケースに対応している。
結果
定性的評価では既存のstate-of-the-artな反射除去手法に比べ、綺麗に透過像、反射像を分離推定出来ている。
また、透過像、反射像のPSNRおよびSSIMでの画質評価を行ったが、透過像SSIMではそもそも分離前のガラス画像と同レベルであるなど、これらの指標は定量評価とするにはあまり効果が無いとしている。
その他（なぜ通ったか？等）
論文中でも言及されているが、ガラスに正対したシーンで360°画像中の背面側から参照画像を取ってきており、ガラス面の角度がこれから傾くと精度が落ちてしまう。
この点に関しては360°カメラの使用シーンを考えると今後の改良が望まれる。
- …
- …