- …
- …
#416
summarized by : 角田良太朗
どんな論文か？
3Dphotoとstylizationの融合。課題はnovel-view毎にstyleが変化しないこと。手法としてはRGB画像をLeReSのdepth推論によりLDI表現に持ち上げてinpaintし、それをPointCloudに変換してGNNで特徴抽出＋style注入してから、ラスタライズ後にdecodeして最終出力を得る。
新規性
VGG特徴量を直接3Dに逆射影するとartifactが生じるらしく、3D点群の状態でstyle変換を高効率に行なっているのが工夫点。学習データも必須なので、3Dphotoの手法をMSCOCOに適用して得たメッシュから教師データを作成し、multiview-consistencyをロスに加えている。
結果
3Dphotoとstylizationを別個にかけた場合と比較して安定性をuser-studyで検証。またワープによる一致度をRMSEとLPIPSで定量評価している。いずれも提案手法が最高精度。またsingle-viewでなくmulti-viewに拡張しても既存手法（StyleScene）より高い精度であると主張。
その他（なぜ通ったか？等）
課題の新規性と技術的難易度の高さが評価点として高い。しかし応用面ではARVRでの実例を述べているもののかなり限定的に思われる。そして3Dphotoのinpaintingを用いているので処理速度的な問題が気になる。
https://pages.cs.wisc.edu/~fmu/style3d/
- …
- …