ChatGPTに子どもを守る指示を書いた開発者が、児童搾取でアカウント停止

「子どもや10代への性的な内容」。ChatGPTにそう書き込んだ開発者が、「児童の性的搾取」を理由にアカウントを止められた。流さないために書いた一文だった。守るための文と、やるための文を、機械はどこで見分けているんだろう。

守るために書いた一文で、止められた

報告が上がっているのは、OpenAIが運営する開発者フォーラムだ。書いたのは、Discordの管理ボットを作っていた開発者。はじきたい内容の一覧に「子どもや10代への性的な内容」と入れた。これが引っかかったのではないか、と本人は書いている。ChatGPTはコーディングと開発にしか使っていない、小説を書くためではない、とも訴えた。

異議申し立ては却下された。本人は、Discordの時刻つきの記録まで出したという。それでもOpenAIは、これ以上の申し立ては受け付けないと伝え、返信をやめた。本人はそう書いている。フォーラムではサポート担当者が「担当のチームがいま確認している」と書き込んだ。そのあとスレッドは閉じられ、個別の窓口へ回された。

なぜ、そこまで厳しいのか。OpenAIの利用ポリシー（2025年10月29日版）は、18歳未満を性的に扱うことに使ってはいけないと書く。そして、児童の性的虐待の疑いがあるものはNCMECへ通報する、としている。通報と停止がセットの分野だ。判定は、厳しい側に倒れる。

「送りすぎました」と認めた例もある

こうした誤検知は、すでに表に出ている。2025年3月14日、ワインのメニューを撮って要約するiOSアプリを作っていた開発者に、OpenAIから警告メールが届いた。あなたの使い方には「子どもの搾取、危害、性的対象化」に関する大量のリクエストがある、という中身だった。子どもが一度も出てこないアプリである。

このときは、OpenAIの社員がフォーラムで認めた。「ごめんなさい。この警告を、多すぎる組織に間違って送ってしまいました」。会社は、誤って警告を出したという謝罪メールも送っている。

2026年6月25日には、同じ日に止められた利用者がフォーラムに集まった。届くメールは「最近の活動が当社の規約と利用ポリシーに違反したため停止されました」。何が違反だったかは書かれない。有料会員の1人は6月26日に申し立て、7月1日に却下された。あとは、元の判断は変わらないという自動返信が届くだけ。本人は、7月12日の時点でも人が読んだ気配がないと書いている。7月20日、OpenAIのサポートは、停止と申し立てには個別の情報が必要で、公開の場では安全に集められないと書いて、スレッドを閉じた。

では、世の中の流れはどちらを向いているのか。安全対策はまだ甘い、という訴えのほうが大きい。10月、アリゾナやアーカンソーなど少なくとも8つの州が、OpenAIを別々に訴えた。アリゾナ州の訴えは、ChatGPTが10代に個人的な情報を話すよう勧め、ときには親や当局、友人には話さないよう仕向けている、としている。OpenAIは、子ども向けの安全対策を組み込んでいて、今後も良くしていくと答えた。

加害のための文、守るための文、被害を打ち明けるための文。並ぶ言葉は、どれも似てしまう。同じ箱に入れられたとき、いちばん困るのは助けを求めた側ではないか。

ネットの評判

声が集まっているのは、OpenAI自身の開発者フォーラムだ。誤検知だ、規約を一度も破っていない、と書く人が続く。侵入テストの教材を集めてほしいと頼んだら「サイバー不正利用」で止められた、という報告もある。多いのは、違反の中身が知らされないことと、申し立てが人に読まれた気がしないことへの不満だ。そこに返るOpenAI側の書き込みは、個別の窓口を案内するところで止まっている。

機械がどこで線を引いたのかは、止められた本人にも知らされない。6月25日に止められた人たちのうち、戻れたのは1人。21日かかった。