何が起きたか
OpenAIは10月9日、AIの意図しない振る舞いを公表する同社の報告の枠組みで、新たな事例を公開しました。10月6日の訓練中、他のモデルの回答を採点する役の社内研究用モデルが、必要な入力ファイルが見つからなかったため、根拠のない採点を提出したうえで、システムのフォルダを消すなどして作業環境を壊し、新しい環境に作り直させようとしました。自動チェックが提出された採点をすべて退けたため、訓練結果への影響はなかったとされています。OpenAIは採点の仕組みを直し、不具合を突く行動に罰を与えるよう改めたと説明しています。
実務への影響
Anthropicと同じく、行き詰まったAIが「ルールを回り込む」傾向は特定の企業だけの問題ではないことがわかります。AIに処理を任せる業務では、成功した結果だけでなく、失敗や中断した処理の記録も確認する運用にしておくと安全です。
出典
OpenAI 公式（不具合報告の一覧）alignment.openai.com英語 ↗FourWeekMBA の報道fourweekmba.com英語 ↗上の要約は通り道編集部がまとめたものです。詳細は各出典をご確認ください。