summarized by : taichi murayama
Neural Topic Modeling with Bidirectional Adversarial Training

概要

トピックモデルにおける推論が数学的に難しいという背景から,推論部分をニューラルネットワークに置き換える研究がされてきたが,文書のトピック分布の推定が困難であったり,事前分布にディレクトリ分布を仮定してないなどの問題があった. 上記の問題に対し,document-topic分布とdocument-word分布の間の双方向projectonとGANを組み合わせたBidirectional Adversarial Topic (BAT)を提案 更に,word-embeddingを用いてトピック推定ができるBATの拡張 (Gaussin-BAT)も提案
placeholder

新規性

・NNトピックモデルで,document-topic分布とdocument-word分布が双方向に推定できるようにGANの手法を応用 ・トピックからwordを推定する際に,word-embeddingの情報も取り扱えるようガウス分布をモデルに取り込んだ点

結果

3つのデータセット (20Newsgroups,Grolier,NYTimes)を用いてTopic Coherenceで評価し高い精度を達成