#1021
summarized by : Naoya Chiba
Optical Non-Line-of-Sight Physics-Based 3D Human Pose Estimation
Mariko Isogawa, Ye Yuan, Matthew O'Toole, Kris M. Kitani

どんな論文か？

Optical Non-Line-Of-Sight (NLOS)による壁越しでの人物姿勢推定．Optical NLOSセンサから得られるTransient Image（時系列のパルス光に対する応答）から，光を反射した先にいる人物の姿勢を推定する．人物姿勢をパラメータ化して強化学習の枠組みで学習し，行動シーケンスとOptical NLOSセンサの入力から行動を推定する．
placeholder

新規性

学習データの生成に物理シミュレーションを利用し，強化学習で行動の予測と同時に人物の動作を再現するポリシーを学習する．これに観測として実際のNLOSセンサを想定したDepthベースのData Augmentation（ノイズ，時刻方向のブラー，シフト，リサンプリング）を行い，Transient ImageをUNet構造の3D CNNで処理しInverse PSFを補正するよう学習する．

結果

MoCapでデータを生成して学習データとして用いて実験．提案する問題設定の先行研究がないため，V2V-PoseNet, PoseRegとして比較し，提案法によって姿勢のシーケンスがうまく推定できていることを確認．さらに実際に計測されたデータ（リサンプリングしててアップサンプリング）でも検証し，実データでも用いることができうることを示した．

その他（なぜ通ったか？等）

Optical NLOSセンサを用いた人物姿勢推定が新規かつ面白い問題設定で，人物姿勢であることを前提とすれは観測できる情報が少なくノイジーでも姿勢を復元できることを示した．

このページで利用されている画像は論文から引用しています．