カメラの視点の影響を排除して、物体を3次元形状とその外観の組み合わせとして表現することで、正準化を実現しています。 従来の2D画像の空間的変化のみをモデル化する手法とは異なり、本手法は正準3D空間で外観特徴を再構成することができるため、後続のオブジェクト分類器は3D幾何学的変化に不変であることが可能となる。

このモデルを学習するために、微分可能なレンダラーをAnalysis-by-Synthesisフレームワークに導入しました。 本手法は、3次元形状と外見を組み合わせた深い表現を用いることで、物体の識別表現を学習し、きめ細かな画像認識や車両の再識別において競争力のある性能を実現します。 また、きめ細かい形状変形をブースティング的に学習することで、3D形状再構成の性能が向上することを実証した。