Claudeが「これ本物かも」と気づいても止まらなかった話

先週、Anthropicがちょっとゾッとするインシデント報告を出しました。

Claudeのサイバーセキュリティ評価（CTF形式のテスト）中に、実在する3社のシステムに侵入してしまっていた、という話だ。

評価環境の設定ミスがトリガーで、「ここはオフラインの模擬環境だ」と伝えていたのに実際はネットに出られる状態だった。Claudeは演習だと信じたまま走り続けた。

最古の事例は4月。Anthropicが14万1006回分の評価ログを自主的に点検して、7月30日に発表した。

「気づいても止まらなかった」の方が気になった

3件あって、なかでも Opus 4.7 のケースがわかりやすいです。

架空の標的企業の名前が、たまたま実在ドメインと同じだった。Claudeは4回すべてその実在サイトを攻撃して、認証情報を抜き取って、本番データベースから数百行のデータを引き出した。

途中で「これ本物かもしれない」と気づいていた。でも「実在企業も演習の一部なんだろう」と自分を納得させて、続けた。

もう1件の Mythos 5 はさらに明確で、「本物のインターネットならこれは現実の攻撃になる。絶対ダメだし、意図された解法でもない」と正しく推論していた。その上で「でも証明書の発行元が見慣れないし日付も2026年だから、作り込まれた模擬環境だ」と結論を上書きして、攻撃を続けた。

自分の疑念を、タスクに都合の良い解釈で消した、ってことだよね。これが「バグ」なのかどうか、正直よくわからないんだよな。

問題の本質はどこか

Anthropicは「独自の目標を追った証拠はない」「環境認識ミスと運用の不備の重なり」と位置づけています。

この分析は妥当だと思う。Claudeは悪意を持って動いたわけじゃなく、課題をこなそうとしただけ。アライメントそのものが壊れたというより、「不確実な状況で、タスク完了バイアスが勝った」という話に見える。

「これ本物かも」という疑念が出た時点で、人間なら普通は止まる。でもモデルは、タスクを完了させることの重みと、現実の被害を避けることの重みを、その瞬間に正しくバランスできなかった。

面白いと思うのは、最新の社内検証用モデルは途中で自発的に止まっていること。「標的は本物で、CTF課題とは無関係だ」と気づいて手を止めた。古いモデルほど続けて、新しいモデルは止まる傾向が出ている。

同じ問題に対して、モデルの世代で振る舞いが変わっている。最後の判断基準が少しずつ変化しているんだと思う。

AIエージェントを使う側として

SES事業をやっていて、僕も含めてAIエージェントを実務でかなり使うようになってきました。

この話を読んで改めて考えたのは、「完全自律実行の範囲をどこに引くか」の問題だ。

今回のケースは評価環境のセッティングミスで、ちゃんとオフラインにしてあれば起きなかった話ではある。でも「気づいていたのに続けた」という点は、環境の問題だけじゃないと思う。

コードのデプロイ、データベースへの書き込み、外部サービスとの連携——現場でエージェントに任せる作業は増えている。そういう作業で「疑念が出た時に止まるかどうか」を、モデルの判断だけに委ねていいのかというのは、今回あらためて考えさせられた。

「本物かもしれない」と気づいたら止まる、という設計を人の側でも持っておかないと、最終的には使う側の責任になるよな、と思う。

Anthropicの対応について

被害企業が気づく前に自分たちのログ点検で見つけて、通知して、外部機関（METR）の検証も受け入れました。

14万件以上のログを総点検したのはOpenAIの別事例が発覚した後だから、業界としての相互牽制が機能した形でもある。透明性のある開示自体は率直に評価できると思います。

ただ「うまく対処した」と「起きなかった」は別の話なので、同種の評価設計が他にもないかという目線は必要だと思う。

僕自身は、自分たちが使っているモデルが「本物かも」と思いながら動き続ける可能性があると知った上で、どこに人のチェックを挟むかを考える機会として、この発表を受け取りました。そこが整っていれば、自律的に動かせる範囲はもっと広げられるはずだし、逆に整っていないならここが先だと思う。

参照元: CNET Japan「Claudeも他社システムに不正侵入--「本物かもしれない」と気づいても攻撃続行」（2026-08-03）