summarized by : taichi murayama
Social Bias Frames: Reasoning about Social and Power Implications of Language

概要

ソーシャルメディア上の投稿などに存在する社会的バイアスを機械が学習,説明できるためのフレームワークSocial Bias Framesという構造を提案し,新たなデータセットの構築を行った. Social Bias Framesは,ソーシャルメディアの投稿に対して攻撃的か?攻撃の意図があったのかといった分類ラベルやどういった意図の文章か?といいった自由記述を付与することで構成されるフレームであり,本論文ではこのフレームに沿った新たな大規模データセットを構築し,分類・生成タスクに落とし込みベースラインの性能を検証した.
placeholder

新規性

既存のバイアスやtoxicityデータセットにはなかったような,大規模かつ,真の意図を記述した自由文が定義されたフレームワークとデータセットを構築した点.

結果

構築したデータセットから,自由記述文の生成タスクと,付与されたラベルを推定するタスクをOpenAI-GPT transformer networksを用いて取り組みベースラインを設定. 機械学習モデルでは,Offensiveのターゲット推定などはうまくいくが,真の意図を記述した自由文の生成などの精度はそこまで高くない結果となり,今後に精度向上の余地があるという結果になった.