- …
- …
#414
summarized by : 角田良太朗
どんな論文か？
動画をlayerwiseのdeformation spritesに分解することで、segmentationやedittingをユーザーのannotationやmaskなしに実行する。各物体を表すマスク、物体毎に全フレーム共通のテクスチャRGBマップ、そこから各フレームへのワープ写像（homography+deformation_sprite）を推論する。
新規性
fully-unsupervisedにtest-time-optimizationでレイヤ分割を行う点が新規性。再構成ロスのみではunsupervisedな分割はill-posedなため、正則化として「背景マスク内の画素は静止しているためepipolar幾何に従う」「動物体のマスク内画素のflowは同一」「隣接フレーム間のdeformationおよびマスクは同一」というロスをかける。
結果
既存のmotion-grouping手法と比べて定性的、定量的な優位性を実証。またDAVISに限らずネット上の動画に対しても適用できることを示している。
その他（なぜ通ったか？等）
最適化に30分かかるが、既存手法は10時間かかるらしく、この高速化はdeformable spritesを用いたことによる低次元モデリングが効いていると主張している。
https://deformable-sprites.github.io/
- …
- …