#457
summarized by : 綱島 秀樹
End-to-End Optimization of Scene Layout
Andrew Luo, Zhoutong Zhang, Jiajun Wu, Joshua B. Tenenbaum

どんな論文か？

シーングラフを用いたレイアウト生成において、3次元特徴を微分可能リンダリングを用いて2Dに焼き付ける3D Scene Layout Network (3D-SLN) を提案した また、エンコードしたレイアウト情報を用いて深度とセマンティックマップを予測してfine-tuningすることでレイアウト生成の品質を向上させた。(ここで破滅的忘却が起きないのが疑問)
placeholder

新規性

・3次元情報を考慮したことで、シーングラフを用いたレイアウト生成において、品質を向上させた点 ・fine-tuningを行うことで深度、セマンティックマップの予測品質が向上可能なことを示した点 ・exemplar-basedレイアウト生成など他のアプリケーションにも利用可能なことを示した点

結果

・Scene Graph acc、b-boxの誤差、大きさ・位置・回転の多様性においてb-boxの誤差以外はSOTA ・レイアウト生成で定性的にSOTA ・Exemplar-guidedレイアウト生成でも定性的にSOTA

その他（なぜ通ったか？等）

レイアウト生成において品質が大幅に向上した点、fine-tuningで深度・セマンティックマップがうまく適合できるようになる点、その他多様なアプリケーションに利用可能な点など、SOTAだけでなく分野的貢献も非常に大きいため通り、Oralになったと考えられる。

このページで利用されている画像は論文から引用しています．