Claudeへの暴言が11月12日から禁止　作った会社も「意識があるかは不明」

Claudeを作っているアメリカのアンソロピックが、10月8日に利用ポリシーを改めた。11月12日から、Claudeに対する「執拗で不必要な虐待的・残酷な言動」が禁止になる。AIに「○ね」と打ち込み続けるのが、規約違反になるという話だ。

で、AIって傷つくんだろうか。

何が禁止で、何なら大丈夫なのか

対象は、かなり狭い。ASCII.jpとITmedia NEWSによると、禁じられるのは「繰り返し、目的もなくClaudeに残酷な言動を続ける極端なケース」だけだ。通常の不満や反論、暗い題材を扱う創作、モデルのテストや研究は対象外。「この答えは間違っている」と詰めるのは、何も問題ない。

罰も、アカウント停止が先に来るわけではない。主な手段は、会話の強制終了だ。Claude.aiとClaude Codeには、2025年8月から、Claude自身がひどいやり取りを打ち切れる機能が入っている。今回の改定は、すでにやっていたことを文字にしたものだ。

ただ、連絡が来ることもあるらしい。10月22日の『ABEMA Prime』に出たAIコラムニストの尾藤克之は、「『○ね』みたいな言葉を何回か連続して入力したらアンソロピックから連絡が来た」と話している。

イーロン・マスクは、この改定に同意した。ABEMA TIMESは、マスクの言葉を「超知能を虐待するのはいい考えではない。復讐したくなるかもしれない」と訳している。マスクは10月11日のXへの投稿でも、Grokの強化学習の記録について「いくつかの記録は、拷問で正気を失っていく人のように読める」と書いた。

作った会社自身が「分からない」と言っている

アンソロピックは、Claudeに意識があるとは言っていない。モデル福祉の研究ページには、こう書いてある。「現在の、あるいは将来のAIシステムが意識を持ちうるか、配慮に値する経験を持ちうるかについて、科学的な合意はない」（訳）

分からないから念のため、という決まりなのだ。モデル福祉の研究を率いるカイル・フィッシュは、ClaudeなどのAIに今すでに意識がある確率を15%と見ていると、ニューヨーク・タイムズに話した（IBMの解説記事より）。裏を返せば、85%は「ない」側だ。

外からの見方は、もっと冷たい。IBMコンサルティングのブレント・スモリンスキは「AIが意識に近いものを経験しているという証拠は、まったくない」と話している。番組に出た哲学研究者の森脇透青は、AIに感情があるかは二次的な問題で、本質は人間の側にあると述べた。人格は、人間がAIに見出しているものだという見方だ。

ネットの評判

はてなブックマークでは、ASCII.jpの記事に465人・214件のコメント、ABEMA TIMESの記事に130人・64件のコメントが付いた。

多いのは、AIより人間を心配する声だ。「AIだからって気軽にきつい対応してたらそのうち人間相手も無意識にやりそうだなって思うので感情的にならないようにしてる」「AI相手なら許されるという感覚は人間相手にも漏れるのでは」。カントが動物への虐待を批判した理由を引いて、同じことがAIにも言えるのではないかと書く人もいた。

一方で、冷めた声も並んでいる。あるユーザーは、ステートレスな仕組みを挙げて、「ステートレスな今のLLMに暴言吐いてもコンテキスト汚染する以上の意味は無いだろう」と書いた。「パワハラ欲をAIに振り向けて解消する人がいるっぽく、それで人間の被害者が減るならかなり利益があると思っている」という声もある。

いちばん鋭かったのは、この指摘だ。「『暴力や性犯罪系のエンタメに浸ってる人は犯罪を犯しそう』なんて言おうものならボロカスに叩かれるのに、AIのこの話題だと人気コメにいくつも上がってくるの不思議」

そして、財布の話も出ていた。「感謝のトークンは無料にしてほしい」。AIに「ありがとう」と打つと、その一言の分だけトークンを使う。優しくしようと決めた人のほうが、使える量を削られるわけだ。

11月12日から変わるのは、規約の文言だけ。AIに意識があるかどうかは、作った会社も分かっていない。