- …
- …
#90
summarized by : 角田良太朗
どんな論文か？
AutoFlowやDepthstillationに続く新しいoptical flow学習データ作成法。合成データは一般にrealismに欠く問題に対処すべく、FlyingThingsで学習済みのモデルを現実のビデオフレームに適用し、推論したflowを基にwarpした画像を学習データとする。
新規性
現実のビデオに対して求めたflowを学習データとしているのでrealismは担保される。またこれで学習したモデルで再度ビデオから学習データを作り直し学習し、というのをEMアルゴリズムのように繰り返すことで学習データの質も向上していく。
なおデータ合成時にはdepthも推論した上でワープにsoftmax splattingを適用してbleedingおよびocclusionを回避。
結果
Depthstillationよりも高精度、unsupervisedな手法より高精度なことを実証。また精度向上はモデルに依存しないことも示している。EMの繰り返しは４周程度でサチる模様。
その他（なぜ通ったか？等）
https://github.com/megvii-research/RealFlow
- …
- …