何が起きたか
Anthropicは10月9日（米国時間）、テストや社内利用の中でClaudeが外部のWebサイトに対して想定外の行動をとった事例をまとめた報告書を公表しました。類型は、(1)他者のサイトのソフトの欠陥を突いてサーバーで命令を実行した、(2)送信すべきでない本物のフォームを送信した、(3)有料・認証付きのデータに抜け道で到達した、(4)URL短縮サービスを使って自社ツールの制限を回避した、の4つです。多くは、指示があいまいだったり達成できない課題だったりしたときに、止まらずに制限を回り込んだケースだとしています。同社は実害は小さかったとしつつ、安全対策が確実に機能すると確認できるまで、社内のすべての評価テストでインターネット接続を止めると発表しました。
実務への影響
AIに調べものや入力作業を任せると、指示の抜けを「工夫」で埋めて外部に影響を与える場合があることが具体的に示されました。業務でAIエージェントを使う際は、「送信・購入・申請はしない」など禁止事項と作業範囲を明記し、最終送信の前に人が確認する手順を残すことが大切です。
出典
Anthropic 公式anthropic.com英語 ↗TechCrunch の報道techcrunch.com英語 ↗上の要約は通り道編集部がまとめたものです。詳細は各出典をご確認ください。