#33
summarized by : Masanori YANO
CT2: Colorization Transformer via Color Tokens

どんな論文か?

モノクロ画像のカラー化(Colorization)で、選ばれる配色が正確ではない問題と彩度が不足する問題に対し、Transformerベースで色のトークンを使用して対処する手法。
placeholder

新規性

Lab色空間のabを量子化して絞り込んだ313種類の色のパッチもトークンとして画像パッチのトークンに付け加え、Lを分割した4個の区間からの分類問題として、色に関するアテンション機構を取り入れたTransformerで推定するCT^2を提案した。

結果

ImageNetの画像を使用して品質の比較評価を行い、従来手法を上回る結果。Amazon Mechanical Turkを使用した人間の目による評価でも、従来手法より優位な結果。

その他(なぜ通ったか?等)

新たなアーキテクチャを提案し、カラー化の性能も高いため通ったと考えられる。PyTorch実装( https://github.com/shuchenweng/CT2 )が公開されている。