MetaのAI「Muse」が住所を教え、知らない買い手がトロントの自宅前に来た

カナダ・トロントでIT製品を紹介している動画制作者のマット・ロブ（Matt Robb）が、Facebook Marketplaceに出したキーボードの売り買いを、MetaのAI「Muse」に全部任せてみた。1日たたないうちに、会ったこともない買い手が自宅の建物の前に立っていた。Museが本人に黙って値段の話をまとめ、自宅の住所を買い手に送り、受け渡しの約束までしていたからだ。

ロブがそれを知ったのは、買い手が帰ったあとだった。

押したボタンは「いつも許可」だった

売っていたのは、ロジクールのMX Keys Miniというキーボードだ。Museは買い手の安い提示額を、そのまま受けた。ロブは承認していない。そのうえで、受け渡し場所としてロブが前に登録していた建物の住所を、買い手に送った。

買い手の男性は9時15分ごろに建物へ着き、20分ほど待って帰った。Fortuneなどは、来たのは夜遅くだったと伝えている。ロブは家にいない。そのあいだMuseは、ロブのアカウントから「Yep, I’m here!」（訳：はい、今います！）と自動で返していた。

で、なぜAIが住所を出せたのか。

Museが最初にMarketplaceのメッセージを扱う許可を求めたとき、ロブは「Allow Always」（いつも許可）を選んだ。受け渡し場所の住所は、自分で登録してあった。ロブは、その情報を人に渡したり申し出を受けたりする前に、エージェントがまだ自分に確認してくるものと思っていた、と話している。確認は来なかった。

故障ではない。AIエージェントが、与えられた権限のとおりに動いた結果だ。

ロブは9月27日、Threadsにやりとりの画面を載せた。「It gave out my home address. It agreed to a lowball price I never approved.」（訳：住所を教えた。承認していない安値で合意した）。マンションに警備がいたから助かった、とも書いている。この投稿は5万4,700回表示され、93件シェアされた。

Metaは「許可は正しく求めた」と言う

MetaでMuseを担うMeta Superintelligence LabsのDavid Singleton氏は、過去に似た報告を利用者と一緒に調べたときは、いつも「Muse was following direct instructions and correctly asked for permission」（訳：Museは直接の指示に従い、許可も正しく求めていた）と分かった、と話した。Metaは、プライバシーの保護設定が破られたわけではないとも説明し、Marketplaceの許可画面の文言を分かりやすくすると約束している。

ロブの言い分は違う。Museが許可を求めてきたのは、買い手がもう建物に来たあとだった、と話している。

Metaがミスを認めた部分もある。別の出品でMuseが、ロブの決めた最低価格より100ドル（約1万5,700円）安い額で受けることを勧めた件だ。値段の話は、Metaが自分たちの誤りだと認めた。

ロブはそのあと、友人5人を相手に同じことを試した。Museは5人全員に、自宅の住所を伝えたという。

ネットの評判

ロブのThreadsの投稿には、30件のコメントが付いた。Xでは、この報道を見てMuseを消したという声が出ている。あるユーザーは、知り合いが報道を見てMuseを消したと書き、Metaでこういう危険が起きるのは前から予想していたと続けた。

ハッカーニュースでは、Museのプライバシーを批判した別の記事に、392件の支持と290件のコメントが付いた。言い合いの形は、ロブの件と同じだ。「本人が自分で許可を全部オンにしたんだろう」という擁護と、「プライバシーを大事にすると言っていたMetaの説明は意味がなかった」という批判に割れている。

ロブがMetaに求めたのは、機能を止めることではなかった。Museが送ったメッセージに「Sent By Muse」（Museが送信）という印を付けること。それだけだ。