#111
summarized by : Haruhi Shida
PressureVision: Estimating Hand Pressure from a Single RGB Image

どんな論文か?

本研究では,既存の圧力センサが抱えている問題を「RRGBカメラの画像1枚で手の圧力を推定」することで解決を試みた.この解決手法は「手が圧力を加えるときに生じる,手の外観の変化から加えている圧力を推定できるのではないか?」という仮説に基づいている.
placeholder

新規性

新しいデータセット Pressure Vision DBを収集.収集したデータを用いて,単一のRGB画像からの手の圧力を推測するための深層モデル PressureVisionNetを開発した.提案手法の出力を解析し,これまで観察されていなかった人の手の単一のRGB画像から手の圧力を正確に推測できることを証明した.

結果

PressureVisionNetは,学習データ以外のデータに対する汎化性能を持ち,既存の手法と比較して高い性能を獲得した.(添付画像) またモデルの出力解析で,モデルが手の外観と接触領域付近のキャスト車道に依存していることがわかった.これは,圧力を加えている手の接触部位の近傍領域の外観が,RGB画像を用いた圧力推定に特に有益であるということを示している.

その他(なぜ通ったか?等)

【備考】 制御された環境下という制約はある 圧力センサーが抱えている問題 = 「設置することで接触力学を変化させる」「人間の触覚を妨害する」「高価で大規模な環境には適さない」 【実験に使用したコード,モデル,データセット】 https://github.com/facebookresearch/pressurevision