#37
summarized by : Teppei Kurita
Instance-Aware Image Colorization

どんな論文か?

NNでの白黒画像のカラー化は、細かいオブジェクトが多くあると失敗することが多かったが、そのようなケースでも上手くワークする手法を提案。
placeholder

新規性

物体検出器と組み合わせて、オブジェクトレベルの正確な色付けも同時に学習し、背景との混色を回避したことが新規性。オブジェクトのインスタンスの色づけを行うモジュールと、画像全体の色づけを行うモジュールを同時に走らせて共同で学習を行う。途中で双方のモジュールの特徴量を融合させる機構を設けることで、それぞれのモジュール間の色づけ具合のギャップを吸収する。

結果

様々なデータセット(ImageNet、COCO-Stuff、Places205)と評価指標(PSNR、SSIM、LPIPS)でSOTAを達成。

その他(なぜ通ったか?等)

手法自体はシンプルな考えであるが、結果がわかりやすく印象的。データセットも複数種類試しており説得力は高い。