#114
summarized by : Teppei Kurita
3D Photography Using Context-Aware Layered Depth Inpainting

どんな論文か?

RGBD画像を3D化する際の視差依存オクルージョンを解決する手法。Depthを可変的なレイヤーであるLayered Depth Image(LDI)で効率的に表現。ただCNNをそのまま適用するのは困難なので、オクルージョン箇所をCNNでインペインティングするようにし細かい粒度のタスクに落とし込んだのがキモ。
placeholder

新規性

彼らの提案するLDIはRGB値と任意の数のDepth、および隣接4画素とのDepth連続性を表現するポインタを保持していることが新規性。Depthが複雑なシーンも柔軟に効率的な表現ができる。最近はmulti-plane representation(MPI)を利用した研究が流行りだったが、MPIは傾斜した表面でアーチファクトが発生することが多い。

結果

RealEstate10Kで評価。PSNRとIPIPSで従来手法より改善。SSIMもトップではないが高水準の値。定性的にも従来手法と比較しアーティファクトが少ない事を確認している。

その他(なぜ通ったか?等)

LDIを使用した手法の実用性の高さが評価されたと考えられる。対抗技術であるMPIは冗長性が高く、メモリやストレージの効率を低下させ、レンダリングコストがかかる。それに比べ、Layered Depth Image(LDI)は使用メモリが少なくコストが低い。