#205
summarized by : Mitani Tomohiro
Improving Few-Shot User-Specific Gaze Adaptation via Gaze Redirection Synthesis

どんな論文か?

眼球中心と虹彩の中心を結んだ光学ラインと、中心窩と節点(水晶体?)を結んだ視覚ラインは約-2度〜約2度の個人差があるが、比較的低解像度の画像から視線を推定するappearance based methodsにおいて、今まであまり注目されてこなかった。新規対象者の視線データ収集は高コストなので、できるだけ少数の視線+画像データからfine-tuningし、個人特化したモデルを作成する方法を開発した。
placeholder

新規性

Gaze Redirection modelを用いて少数データからsynthesized dataを作成し、fine tuningに用いた。その際に、別のdomain(明るさ、頭の向きなど)の画像を生成したのち、逆向きの変換をかけて視線が保たれるというcycle consistency lossを導入することで、domain biasのない良質なsynthesized dataを得ることができた。

結果

平均して0.2度の精度向上を得た。個人ごとにみると、ColumbiaGaze setで84.2%、MPIIGaze datasetで80%の被験者で精度向上を認めた。

その他(なぜ通ったか?等)