#544
summarized by : Naoya Chiba
OcclusionFusion: Occlusion-Aware Motion Estimation for Real-Time Dynamic 3D Reconstruction

どんな論文か?

RGB-Dシーケンスからシーンのリアルタイム3D再構成を行う手法OcclusionFusionの提案.オクルージョンによってモーション推定が不安定になるという問題に対して可視領域の3D形状を再構成してから階層的なグラフニューラルネットワークとLSTMを組み合わせたネットワークで時系列を統合し,そのフレームで隠れていた部分も含めた3D形状の再構成を行う.
placeholder

新規性

オクルージョンに対応しつつリアルタイムで高精度な三次元再構成を行うため,オプティカルフローを用いたフレームあたりの再構成の後に軽量なグラフニューラルネットワークで処理するフレームワークの提案が新規.この設定で3Dモーションを推定するため,各ノードが可視であるかの情報とモーション予測の信頼度を陽にモデル化して用いる.

結果

DeformingThings4D,DeepDeformデータセットで検証し,それぞれ既存手法よりも高い性能でシーン形状を予測・再構成できた.隠れに対して適切に対応するため・素早いモーションに対応するために提案法のアプローチが有効であることを検証した.

その他(なぜ通ったか?等)