#561
summarized by : Ryuichi Nakahara
ContIG: Self-Supervised Multimodal Contrastive Learning for Medical Imaging With Genetics

どんな論文か?

遺伝子データと画像の対応を教師なし学習する仕組み
placeholder

新規性

遺伝子データと医療画像を蓄積した大規模データセットが各種存在するが、遺伝子と医療画像における解剖学的表現の関連はわかっていないことが多いため、解析が困難。 遺伝子データと医療画像を同じ潜在空間にマッピング可能な教師なし学習(GontIG)を提案。 また遺伝子と画像の対応を説明するために勾配に基づく説明アルゴリズムも提案

結果

APTOS(糖尿病)、PFMiD(眼科)、PALM(眼科)、Cardiovascular Risk Prediction(心臓)データセットにおいて良好な結果

その他(なぜ通ったか?等)

GitHub 公開 https://github.com/HealthML/ContIG 遺伝子・画像の関連を教師なし学習するという戦略も良かったが、さらに学習結果の説明も同じパッケージにあることが評価されたポイントかもしれない