#784
summarized by : QIU YUE
Playable Video Generation
Willi Menapace, Stéphane Lathuilière, Sergey Tulyakov, Aliaksandr Siarohin, Elisa Ricci

どんな論文か？

Unsupervisedでラベリング情報なしのビデオから、離散的なActionとビデオの関係性を学習し、それによりビデオをインタラクティブで生成可能な新たな問題設定Playable Video Generation を提案。また、エンコーダーデコーダーベースな高性能な手法CADDY（Clustering for Action Decomposition and DiscoverY）を提案．
placeholder

新規性

①新しいビデオ生成のタスクPVGを提案。既存のビデオ生成と比べて、PVGではラベルなしのビデオからUnsupervisedでビデオの生成を行う．更に、Action labelからコントロール可能なビデオ生成を行う．②提案のPVGに高性能を得た手法CADDYを提案、ビデオフレームが対応するActionを予測しながら再構成ロスをもって学習する。

結果

3つのデータセット（リアル環境のTennisとRoboticsデータとSynthetic環境のVideo gameデータ）において実験し、提案のCADDYモデルが高質なビデオを生成できるほか、Playability（動作のラベルによりビデオ生成をコントロール可能）において高い性能を示した。

その他（なぜ通ったか？等）

このページで利用されている画像は論文から引用しています．