Anthropicの無料AI診断が始まった。報告を確かめるのは開発者だ

米Anthropicが10月8日、オープンソースのソフトを無料で診断するサービス「OSS Scanner」を始めた。Claude Mythosを含む自社の強いモデルが、申し込んだプロジェクトのコードを定期的に調べ、脆弱性を探す。報告には、再現の手順と説明、直せそうなら修正案まで付く。

Xでこの投稿を見る

当たっているのか。Anthropicが48のプロジェクトで見つけた「重大」「高」の97件を、専門の技術者が確かめた。85件（88％）が、作り手に知らせる基準を満たしていた。残り12件のうち11件も本物で、既知の問題や重複。見当違いは1件だけだった。

ここだけ読むと、ありがたい話だ。ただ、受け取る側から見ると、少し違う。

無料なのは、探すところまで

申し込みはGitHubで行う。設定ファイルを足す形で申請を出すと、本当に中核の保守者からの申し込みかを、Anthropicの担当者が人の目で確かめる。

申請には、Dockerfileの置き場所も書く。診断はネットを切った隔離環境で走るので、外部に取りに行かずに組み上がる形を、保守者が先に用意しておく。プロジェクトの事情を書いた「脅威モデル」の文書も出せるが、こちらは任意だ。

届いた報告を最初に読むのも、保守者だ。報告は「人間のレビューやトリアージを経ない、完全にモデルが生成したもの」になる、とAnthropicは書いている。本物かどうかの仕分けを、だれもしていない。速く何度も回すためだ。その代わり「報告が誤っていたり、無効だったりする可能性がある」とも書いてある。

実際、保守者から「深刻度が盛られていることがある」「脅威モデルを取り違えている」と言われた、とAnthropic自身が明かしている。

この半年、Anthropicは自社のモデルで主要なソフトを調べてきた。見つけた候補は2万9千件を超えるが、人の手で仕分けできたのは約6千件。未検証でいいから全部送ってほしい、と頼む保守者も増え、Anthropicは5千件近くをそのまま送った。未検証の報告には、90日の猶予も付けない。

ネットの評判

技術者が集まる掲示板のHacker Newsには、10月8日に投稿が立った。コメントは2件。1件は歓迎している。あちこちから同じ報告が何通も届く今よりはいい、という理由だ。「空いた時間に作って配っているもの」に金は出せない、とも書いている。

もう1件は、もっと手前を疑う。メモリーの扱いを間違えやすいC言語などのソフトは、機能を足すたびに「発見、仕分け、修正の終わりのないサイクル」が要る。安全な言語への書き直しを手伝うほうが筋ではないか、という見方だ。

ただ、反応そのものは静かだ。同じ話題の投稿は4本あるが、どれも4〜6点で、コメントは0〜2件だ。

当たっているから、手は空かない

では、この無料診断はだれに向いているのか。Anthropicは勧める相手を絞っている。公式ページによれば、重大・高の脆弱性報告に「すでに追いつけていて、さらにコードを固めたい」プロジェクト向けだという。「多くのプロジェクトが、受け取る報告の数にすでに手いっぱいだ」からだ。

誤りが多いから手間なのではない。暗号ソフトを作るwolfSSLのTodd Ouska氏は「受け取った74件のうち、2件を除いてすべてが有効だった」と話している。そのうち5件には、CVEという脆弱性の番号が付いた。当たっていた72件は、そのまま直す仕事になった。