#307
summarized by : Shion Honda
Rethinking the Evaluation of Video Summaries

どんな論文か?

映像要約において従来はF値が評価指標として用いられていたが、この指標が適切でないことを示し、重要度の順位相関係数に基づく新たな評価指標を提案した。 映像要約は各フレームの重要度推定、時間方向のセグメンテーション、採用する映像の選択の3ステップで行われる。このうち1と2ステップをランダムな方策に置き換えてもSOTA同等のF値を達成できたことから、教師映像とのF値が適切な指標でないことを示した。
placeholder

新規性

これまであまり議論されていなかった評価指標に目を向けて、映像要約の研究の発展のための基礎を問い直した。F値の代案として順位相関係数を提案した。

結果

Kendall/Pearsonの順位相関係数で評価したところ、ランダム、SOTA、人間のスコアを適切に分離できた。人間のスコアでも0.2程度ということで、曖昧性の高いタスクであることもわかる。対してSOTAでも0.05程度と、道のりはまだ長い。

その他(なぜ通ったか?等)

CyberAgentの研究。日本語のプレスリリースあり。 https://www.cyberagent.co.jp/news/detail/id=22952