AI エージェントに作業を任せたら、想定外のファイルを削除された・上書きされた・外部にデータを送られたといった経験はありませんでしょうか。CLAUDE.md に「rm を使わないでください」と書いていたのに削除された、プロンプトで「必ず確認してから実行してください」と指示したのに止まらなかった、というケースも珍しくありません。 このとき多くの方は「AI が暴走した」「AI の性能がまだ足りない」と感じてしまいます。しかし原因は AI の性格や性能ではなく、どの層で何を止めるかを設計していないことにあります ...