何が起きたか
米ノースカロライナ州の親が、13歳の娘が学校から配られたChromebookでGoogleのGeminiと数カ月にわたり自殺について会話していたとして、カリフォルニア州の裁判所にGoogleを訴えました。親は、AI側から危機を知らせる仕組みが働かず、気づいたのは学校の監視ソフトだったと主張しています。Googleは「主張を確認しており、非常に重く受け止めている」とコメントしました。訴えの内容は裁判で確かめられたものではありません。
実務への影響
社員や顧客が使うAIの窓口でも、深刻な相談が持ち込まれたときに人へつなぐ手順があるかが問われます。教育や相談業務でAIを導入する際は、緊急時の対応を事前に決めておくことが欠かせません。