#92
summarized by : Hirokatsu Kataoka
Visual Chirality

どんな論文か?

画像の反転はCV分野でもデータ拡張等に用いられるが、反転によりどのように画像が変化するか(しないか)はあまり調査されてこなかった。Visual Chiralityを調査することで、微小な物体や人物の顔に対して反応することを明らかにした。ここで、Chiralityとは「物体がその鏡像と重ね合わすことができない性質」である。
placeholder

新規性

通常は何気なくデータ拡張等で画像反転(Image Flipping)を行うが、その性質をVisual Chiralityとして解析したことに新規性がある。さらに、画像の中でChiralityはデータ拡張、自己教師学習、顔画像認識などに含まれており、今後のCV研究に役立てられると示唆する。

結果

添付画像は画像内のChirality領域を示している。文字(Text)、ボタン(Object)、ギター(Object Interaction)を見てChiralityか否かを判断している。ベースネットにはResNet-50, 領域判定にはCAM(Class Activation Maps)、その他のパラメータも標準的なものを使用した。

その他(なぜ通ったか?等)

当たり前のように使用している画像反転を解析し、反転により異なる領域を検出するに至った。画像反転はデータ拡張、自己教師学習、顔認識等に使用されているが、この性質を元にして拡張を行うことで、さらなる改善につなげることができると示唆した。