#65
summarized by : Ryoto Matsuba
Hybrid Neural Fusion for Full-Frame Video Stabilization

どんな論文か?

手振れビデオ補正(video stabilization)についての研究。近接するフレームの重み付き和を用いて安定化フレームを生成する。手振れビデオ補正は、1)動きの推定、2)動きのスムージング3)フレーム生成、の3段階を踏むことが多いが、筆者らは3)に注力してクロッピングが不要な手法を考案した。
placeholder

新規性

従来の手法だと、ブレ補正のために周囲をクロッピングしてしまい、結果として出力結果の視野が狭くなってしまうことが多かった。筆者らの提案手法では、近隣フレームを用いて安定化したフレームを新たに生成することで、クロッピングすることなくビデオ補正を行うことができる。

結果

ズーム、回転、揺れ、撮影者が複雑に動くなどの状況で撮影された動画データセットを用いて、1) クロッピング率、2) 歪み値(入力フレームと出力フレームの間のホモグラフィーの異方性スケーリングを測定)3) 安定性スコア、4) 累積オプティカルフロー(補正した映像全体のオプティカルフローの累積)の4項目をSOTA手法と比較。いずれの項目も比較手法のなかでベストかセカンドベストを達成。

その他(なぜ通ったか?等)

動画をクロッピングすることなく入力と同じサイズで出力を得られるようにしたことで、より汎用に使用可能なものになったのではないか。また、クロッピングしない従来手法と比べても自然な動画が生成されていることがわかる。(クロッピングしない従来手法のDIFRINTはとても不自然な動画が生成されてしまっている) 参考動画:https://alex04072000.github.io/FuSta/