「ヘイトスピーチ検出AI」が逆に人種差別を助長する可能性がある

「ヘイトスピーチ検出AI」が逆に人種差別を助長する可能性がある

  • GIGAZINE
  • 更新日:2019/08/15
No image

bypxhere

元Googleのシンクタンクで、オンライン検閲やサイバー攻撃について取り組むGoogleの姉妹企業「Jigsaw」では、SNS上のヘイトスピーチを検出する機械学習システム開発プロジェクト「Perspective」を推し進めています。しかし、このPerspectiveのアルゴリズムが逆に人種差別を助長する可能性があったと、ワシントン大学の研究者が論文で発表しました。

The Risk of Racial Bias in Hate Speech Detection

(PDFファイル)https://homes.cs.washington.edu/~msap/pdfs/sap2019risk.pdf

Training bias in AI "hate speech detector" means that tweets by Black people are far more likely to be censored / Boing Boing

https://boingboing.net/2019/08/14/white-aligned-english.html

ワシントン大学の研究グループは、あらかじめ人間が「問題なし」「ヘイトスピーチ」などラベル付けした10万件以上のツイートをデータセットとして、PerspectiveのAIに学習させました。そして、その上でPerspectiveのAPIでツイートのヘイトスピーチを検出したところ、内容に問題のないツイートのおよそ半数が有害なコンテンツと判定されました。

研究グループによると、有害であると誤って判断されたツイートの多くはアフリカ系アメリカ人のユーザーによるものだったそうです。研究グループは、540万件ものツイートをデータセットとしてPerspectiveに学習させて検証を行いましたが、それでもアフリカ系アメリカ人ユーザーのツイートはその他の人種のおよそ2倍も有害であると判定されていたそうです。

アフリカ系アメリカ人のユーザーは、ツイートする上で黒人英語(AAVE、African American Vernacular English)をしばしば使います。例えば、一般的には差別的表現とされる「Nigger」は、黒人英語ではお互いへの呼びかけの言葉として用いられ、差別的意味を持ちません。しかし、一般的な英語と黒人英語を区別することができないPerspectiveのAPIは、黒人英語のツイートの約半数を誤って有害なコンテンツとして分類してしまったというわけです。黒人英語のツイートが有害コンテンツと指摘される確率は、一般的な英語のツイートのおよそ1.5倍もあったとのこと。

No image

また、研究グループはPerspectiveのデータセットが人間によってラベル付けされたものであることも指摘。そもそも人間によってラベル付けされたデータセット自体に偏りがあったために、体系的に黒人英語のツイートを攻撃的なものと誤認することになったと述べ、データがもつ偏見が検出モデル自体がもつ偏見に拡大されていったと主張しています。

研究グループは、Perspectiveのアルゴリズム自体がアフリカ系アメリカ人への偏見を助長する可能性があると指摘し、「ヘイトスピーチ検出における意図しない人種差別を避けるため、言葉の違いによって生まれる影響に特別注意を払うべきです」と論じました。

この記事をお届けした
グノシーの最新ニュース情報を、

でも最新ニュース情報をお届けしています。

外部リンク

サイエンスカテゴリの人気記事

グノシーで話題の記事を読もう!
「スロー地震」多発域、断層破壊防ぐ働き 東日本大震災で京大など確認
太陽光だけで海水を真水にする装置が開発される、副産物として塩も生成可能
全ては日光浴の為。19世紀後半のフランスで日光療法の為に設置された大がかりな回転式サンルーム
ロシア国産ヒト型ロボット、宇宙船で打ち上げ ISSで補助作業習得へ
わずか原子10個分の厚さしかない断熱材が開発される、電子機器の小型化に役立つ可能性
  • このエントリーをはてなブックマークに追加