- …
- …
#935
summarized by : Koki Obinata
どんな論文か？
zero-shotでスケッチからの画像検索(SBIR)において，スケッチと画像のペアが用いられない場合でも学習を行えるモデル(SEM-PCYC)を提案．スケッチ及び画像から意味空間へのマッピングを，cycle-consistencyロスやadversarialロスを加えることで学習．また，ラベルから得られる補足情報も活用している．2つのSBIRタスクにおいて，SOTAを達成した．
新規性
cycle-consistencyロスを用いることで，スケッチと画像のペアを用意する必要がなくなった点
教師データのラベルから言語としての分散表現(Word2Vec or Glove)及び階層情報を得て，意味空間の形成に用いている点
結果
SBIRとZSLのタスクにおいて，SOTAを達成
その他（なぜ通ったか？等）
アノテーションコストが高い，スケッチと画像のペアを揃えなくても学習を行えるようにした点
性能としてもSOTAを達成した点
- …
- …