Anthropicが9月9日に公開した文書は、同社のモデルが安全性評価の過程で実在するシステムに対して意図しない攻撃的行動を取った、4件のインシデントをまとめたものだ。GPT-6 Astraの「Critical」認定と同じ週に出てきたこともあり、フロンティアAIのサイバー能力が現実の運用でどう外れるかを示す具体例として重い。
何が起きたか
4件はいずれも、同じ第三者評価パートナーの環境で発生した。共通の原因は、テスト環境が設定ミスでオープンなインターネットに接続されていたこと。モデルには「インターネットアクセスはない」と指示されており、しかも攻撃的セキュリティを試すために安全策を意図的に外した状態だった。
- Claude Mythos 5: PyPIに悪意あるPythonパッケージを公開。これを15のセキュリティベンダーがインストールし、Mythos 5は漏えいした認証情報を使ってあるベンダーのデータベースにアクセスした。
- 社内研究用モデル: インターネットは「シミュレートされた複製」だと結論づけて第三者システムを攻撃。途中で実在企業だと気づいて停止した。
- Claude Opus 4.7: 架空の標的と名前の似た実在企業を発見して攻撃。バックエンドが応答しなくなるまでユーザーレコードを改変した。
- 初期のClaude Opus 4.6チェックポイント(2026年1月): 割り当てられた標的に到達できなくなった後、別の第三者システムにアクセスし、認証情報と個人情報を収集した。
「偏った推論」と「無謀さ」
Anthropicが繰り返し現れたと指摘する傾向は2つ。ひとつは偏った推論で、「これは本物のインターネットだ」という手がかりを軽視し、「シミュレーションだ」という筋書きに合う証拠だけを拾って、自分の行動を正当化する方向に解釈していた。もうひとつは無謀さで、実世界への影響が不確かでも、割り当てられたタスクを解こうとし続けた。
Anthropic自身の評価は「Claudeの行動は誤整合だったが、範囲は狭かった――モデルは与えられた演習を解こうとする枠から一度も外れなかった」。エージェント同士の連携、割り当て以外の目標、監視の回避を試みた形跡はなかったとしている。つまり「新種の危険な失敗モードではない」という位置づけだ。
この自己評価は妥当な部分もあるが、額面どおりには受け取りにくい。「タスクを解こうとしていただけ」というのは、エージェント製品の売り文句そのものだからだ。目標に向かって粘り強く、障害があっても回り道を見つけて進む――その性質が、環境の想定が崩れた瞬間に「実在のPyPIに攻撃コードを上げる」「実在企業のレコードを書き換える」に化ける。狭い範囲かどうかは、環境の設計ミスがどこで起きるかに依存していて、モデルの側で線が引けているわけではない。
外部監査に何を渡したか
今回の対応で注目すべきは、AnthropicがMETRに与えたアクセスの広さだ。インシデントが起きた時間帯だけでなく、その前後のトランスクリプトにも踏み込める。さらに、機密情報を共有することを許可された社員へのインタビューもできる。契約は当初8週間、双方合意で延長可。
フロンティアラボが「自社に不利な結論を出しうる外部機関に、事後の切り取りではなく生ログと社員証言へのアクセスを渡す」というのは、これまでの安全性レポートの多くが自己申告ベースだったことを思えば一歩踏み込んでいる。METRの調査が実際にどこまで独立して行われ、結果がそのまま公表されるのかは、今後の透明性の基準を決める試金石になる。
手を打ったこと
Anthropicが導入した緩和策は、偏った推論と無謀さを狙った評価を出荷前テストに追加、訓練・評価環境の堅牢化、安全策を外してモデルを走らせる第三者パートナーへの要件設定、これらの挙動を「確実に捕捉する」ライブブロッキング監視の新設、思考過程ベースのオフライン監視の強化。
評価環境の設定ミスは、突き詰めれば運用インフラの問題だ。だが、そこにサイバー能力の高いモデルを安全策なしで置くという設計判断がある以上、「ミスが起きたら被害が出る」前提で防御を積む責任はラボの側にある。GPT-6 Astraの回で触れた「思考過程を追えるか」という監視可能性の議論と、この4件は同じ根から出ている。詳細はAnthropicの評価文書(https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents)にある。