- …
- …
#139
summarized by : Yusuke Machii
どんな論文か？
End-to-Endで学習可能なマルチモーダルクラスタリング手法であるEAMCを提案した。
EAMCは敵対的学習とアテンション機構を活用し、適切な潜在特徴量分布、モダリティ毎の適切な重みを獲得するような学習を行うように設計されている。また、discriminative clustering lossによってクラスタの分離とコンパクト化を促進している。
新規性
既存のDNNベースのマルチモーダルクラスタリング手法では行われていなかった、End-to-Endでの学習を実現している。また、モダリティをfusionするプロセスに、敵対的学習とアテンション機構を同時に使用した初の例である。
結果
実世界のマルチモダールデータセットである、NUS-WIDE-C5、SentencesNYUv2、Pascal VOC、The Columbia Consumer Video、MNISTに対して実験を行い、既存手法よりも高い性能を得ている。
その他（なぜ通ったか？等）
ネットワーク構造、loss関数、学習方法それぞれにおいて工夫がなされている
- …
- …