Discord、AIモデレーションのバグを認め、無害な画像でユーザーを誤って禁止
サマリー
DiscordはAIモデレーションシステムのバグにより、無害な画像を理由に8,000人以上のユーザーを誤って禁止したことを認めました。問題は5月から続いており、現在は影響を受けたアカウントの復元作業が進められています。この事件はAIによる自動モデレーションの課題を浮き彫りにしています。
本文
Discordは、AIモデレーションシステムのバグにより、過去2ヶ月間に8,000人以上のユーザーが無害な画像（スプレッドシート、チェスボード、ゲームテクスチャ、白や灰色の透明な背景など）を誤って有害コンテンツとしてフラグ付けされ、禁止されたことを認めました。この問題は5月から影響を及ぼしており、週末にはさらに200人のユーザーが禁止されましたが、チームが問題を特定し修正しました。現在、影響を受けたアカウントは復元のプロセスにあります。この事件は、AI支援のモデレーションに関する課題を浮き彫りにしています。Discordは、アップロードされたコンテンツを既知の有害素材のデータベースと照合することで自動安全システムを運用していますが、誤検知が発生することもあると認めています。人間のモデレーターがコンテンツをレビューするものの、バグにより影響を受けたアカウントが即座に禁止される事態が発生しました。Discordは「このようなことが再発しないように、より良い安全策に取り組んでいます」と述べています。
