- …
- …
#208
summarized by : Naoya Chiba
どんな論文か？
偏光カメラを用いて物体表面の法線方向を推定するShape from Polarization (SfP)の問題に深層学習を適用した．偏光計測で得られる値の原理的な曖昧さ，屈折率の推定の誤差，ノイズの影響をCNNを用いて解決する．単純にCNNを用いるだけではうまく物体の法線推定ができないことを確認し，物理ベースの知見と組み合わせることでうまく機能する手法を提案．
新規性
偏光の物理モデルでは鏡面反射・拡散反射で偏光度が異なり，現実にはこれらが混ざって観測される．さらに解析的に解いても2つの解が現れ，どちらが正解か不明である．得られる情報からうまくCNNで表面の法線を推定するため，生の偏光画像と拡散反射・鏡面反射の各解として得られる法線マップを結合してCNNに入力し，法線を出力するよう学習する．
結果
実計測のデータセットと合成データセットを作成して学習・評価を行った．物理ベースの手法よりも良好な結果が得られており，SfPに深層学習を用いることが有用であることを実証した．光沢がある場合（鏡面反射がある場合）にも比較的良好な法線推定ができることを示した．
その他（なぜ通ったか？等）
物理ベースの知見をもとに避けられない解の曖昧さやノイズについて考察し，その上で適切と思われる入力をニューラルネットに入力することでSfPをCNNで解くことに成功した．
- …
- …