AIが正しくても、人は間違える

株式会社エアー　サポート担当

近年、製品サポートの現場でもAIを活用した機能が次々と登場しています。
AIが自律的に通知対象となる顧客を抽出し、通知内容を作成し、人間は最後に承認するだけ。
そんな世界が既に現実のものになりつつあることに驚きました。

こうした仕組みによって、これまで手間のかかってきた作業も効率よく進められますが、一方で、その便利さゆえに新たなリスクも指摘されています。

その一つが「オートメーション・バイアス」です。
オートメーション・バイアスとは、自動化されたシステムやAIの判断を過度に信頼しすぎてしまい、人による確認や判断がおろそかになる心理的傾向を指します。
例えば、本来は慎重に判断すべき画面でも、「AIが言うのだから問題ないだろう」と、人は無意識のうちに確認を省略してしまうことがあります。

また、セキュリティの分野では「アラート疲れ」という言葉があります。
セキュリティ製品や監視システムから日々、大量の警告が表示されると、人は次第にそれらに慣れてしまいます。
最初は丁寧に確認していた警告も、いつしか「どうせまたいつもの通知だろう」と考えるようになり、本当に重要な警告まで見逃してしまうことがあります。

オートメーション・バイアスとアラート疲れは全く異なるものですが、共通するのは、本来は人間の判断を補助するための仕組みが、人間の判断力を低下させてしまう可能性があるという点です。
いくら便利な機能が増えたとしても、それを利用する側が確認や判断を怠るようになれば、本来の目的であるリスク低減とは逆の方向に進むことになりかねません。

AI時代のリスク管理とは、AIの誤りを防ぐことだけではなく、人間側の思考停止を防ぐことでもあるかもしれません。

---

これまでの不正アクセス、Emotet、情報持ちだしのニュースをチェック「情報漏えいニュース」一覧を見る

これまでの社員コラムをチェックコラム一覧を見る