- …
- …
#101
summarized by : Ryosuke Araki
どんな論文か？
スケッチベースの画像，動画検索，編集，再構成などで用いられる手描きスケッチ認識タスクは，スケッチが完成されていることが前提である．不完全なスケッチの認識はチャレンジングなタスクである．
本研究は，「スケッチの完成」と「完成されたスケッチの認識」を同時に解くことで，完成されていない不完全なスケッチを完成させるSketch-GANを提案する．2つのタスクを解くことで，Gen.の精度が向上する．
新規性
「不完全なスケッチを完成させる」というタスク自体が新しい問題設定である．
Skecth-GANは，cGANsをベースにしている．3段階のGen.を用いて不完全なスケッチを完成させ，完成されたスケッチはDis.とClassifierに入力される．Dis.はlocalとglobalの特徴を見てreal/fake判定，ClassifierはSketch-a-Netでスケッチを認識する．
結果
Sketchyデータセットを用いて学習および評価する．評価時，白色の矩形で画像の一部を欠落させる．
スケッチ完成タスクでは，他のSOTA生成モデルと比較して最高性能を達成した．Ablationで，3段階のGen.とClassifierが精度向上に貢献していることを確認した．データセットの物体カテゴリが多いほど精度向上する．
不完全スケッチ認識では，スケッチを完成させることで精度低下をある程度防ぐ．
その他（なぜ通ったか？等）
問題設定（不完全スケッチの完成）が新しく斬新．Applicationへの応用例も示しており，手描きスケッチに関する研究を促進しうる論文である．
- …
- …