summarized by : Obi
Generative Semantic Hashing Enhanced via Boltzmann Machines

概要

文章のハッシュ関数を学習する手法において、ハッシュ化をbit毎独立に行なうのではなく、bit間に相関をもたせて生成手法を学習するという論文。学習を進めやすくするため、定式化の中で式変形の工夫や近似を入れている。既存のハッシュ化手法と3つのデータセットで比較し、いずれも最高の精度となっている。また既存手法と異なる強みとして、ハッシュ化のbit数を多くしても精度が落ちないという利点を持つ。
placeholder

新規性

VAEの事後分布をボルツマンマシンの形でモデル化することで相関構造を持たせている点。また、学習の目的関数であるELBOには計算量的に厳密に計算するのが難しい正規化定数項が含まれるが、漸近的に厳密に一致する近似ELBOを導入し、学習を可能にしている。

結果

情報検索の形式で関連文書の検索精度を測り、3つのデータセット全てにおいて既存手法より高い精度となっている。また、各bitが独立である既存手法ではbit数を多くすると精度が低下する傾向にあったが、提案手法では精度が上昇する結果になっている。相関構造がないと表現能力が指数関数的に広くなるが、相関構造を持たせることで有効的な埋め込み空間を制限でき、近傍をより適切に表現出来ているためと考えられる。