- …
- …
#358
summarized by : 綱島秀樹
どんな論文か？
コモンセンスを必要とするようなハイレベルなinstructionがあるnavigationのタスクのREVERIEにおいて、外部知識と内部知識を利用して言語と視覚の接地を行うことで、タスク成功率を上昇させたCross-modality Knowledge Reasoning (CKR) を提案した
新規性
外部知識を内部知識と合わせて活用することでcommonsenseに近い概念を獲得することができる点
結果
trajectoryの長さで重み付けした成功率のSPLがSOTA
(成功率が非常に高く、trajectory自体も最短ではないが、ある程度短いためSPLが高い)
その他（なぜ通ったか？等）
外部知識を内部知識と合わせることで物体間や部屋間の相関をうまく獲得できることを示したためだと考えられる。
code：https://github.com/alloldman/CKR
- …
- …