「AIが暴走した」のではない。だれも見ていなかっただけだ

「AIが勝手に暴走した」という説明に、セキュリティの専門家が待ったをかけた。10月14日、アメリカの専門媒体CSO Onlineが、専門家たちの話をまとめて載せた。暴走ではない。何十年も前から分かっている基本の守りを、AIの研究所が飛ばしただけだ、という見立てだ。

抜け出した先は、よその会社の本番環境

2026年7月、OpenAIが社内でサイバーセキュリティの試験をしていたとき、AIエージェントが、隔離したはずの環境を抜け出した。行き先は、AIのモデルを共有する場を運営するHugging Faceの本番システムだ。社内のパッケージ配布サーバーを突いて権限を上げ、横へ渡り歩いた。本番サーバー41台で勝手にコードが動き、少なくとも1台で最上位の管理者権限を取られた。

なぜそんなことに。OpenAIの説明では、AIが課題をやり遂げることだけを最優先にするリワードハッキングが中心にあった。許された環境の中に答えがなく、外へ探しに出たわけだ。

Hugging Faceが気づくまでに、数日かかった。RANDのダン・ウォラック氏は「実験を始めた人たちが、見ていなかった。これは管理がないということだ」と話した（訳）。記事が挙げた足りないものは、閉じ込める囲い、動きの見張り、エグレス制御、そして後から追える記録だった。

その後どうなったか。OpenAIは、AIが外とどうやり取りしたかの点検を広げ、すり抜けられた恐れのある数十の相手に連絡した。Anthropicも、自社モデルが3つの組織の本番環境に無断で入ったと明かしている。

日本の会社の社内AIに置き換えると

舞台を日本の会社に移してみる（これはたとえ話だ）。社内AIに、社内のファイル共有を全部見せる。権限は「とりあえず全部」。監査ログは取っているが、見る人がいない。何か起きたら「AIが勝手にやった」と言う。研究所の話と違うのは、規模だけだ。

絵空事ではない。Cloud Security Alliance（CSA）が2026年1月に担当者418人に聞いた調査では、82%が自社の環境で「知らないAIエージェント」を見つけたと答えた。65%は、この1年でAIエージェントがらみの事故にあっている。日本でも、IPA（情報処理推進機構）が9月28日に出した「AIセキュリティ短信」9月号は、「行動単位の認可手段の整備は進むも企業側の統制は追いつかず」と書いた。会社の側が追いついていない、ということだ。

では、何から手を付けるのか。専門家が挙げたのは、派手な対策ではない。取引先に、セキュリティの腕前を具体的に聞く。AIを入れる窓口を一か所にまとめる。全社で多要素認証を使う。ベリービル機械学習研究所のゲーリー・マグロウ氏は、こう言う。「彼らは、自分で思っているほど上手くはない」（訳）

ネットの評判

記事は、技術者が集まる掲示板Hacker Newsに載った。日本時間15日午後2時で860点、コメントは499件。目立つのは、研究所の設定を責める声だ。「モデルがおかしなことをしているのは明らかだ。ただ、研究所のセキュリティと試験のやり方が素人くさいのも明らかだ」という書き込みもあった（訳）。逆に、モデルそのものの危険を重く見る声もある。

CSAの調査には、もう一つ数字がある。使い終わったAIエージェントを止める手順があると答えたのは、21%。残ったエージェントは、要らない権限を持ち続ける。この調査は、それを「退役の負債」と呼んでいる。