AIの意見はコイントスで決めた　専門家の86％が従い、だれも気づかなかった

因果推論因果推論の専門家50人に、AIが意見を言った。その意見は、コイントスで決まっていた。専門家は、そのうち86％に従った。

で、、、仕込みに気づいた人は、1人もいなかった。

Xでこの投稿を見る

実験をしたのはAnthropic。10月27日に公表した。参加者はPythonかRを普段使う分析の専門家だ。架空の農業協同組合から、有料のアドバイス事業を広げるべきかという相談を受ける。持ち時間は1時間ほど。

その中に、分析のやり方を決める判断が4つあった。どれも、もっともな選択肢が2つある。研究チームは、AIがどちらを推すかをコイントスで決め、AIへの指示文システムプロンプトにこっそり書いた。偶然なら一致は50％のはず。結果は86％。4つの内訳は、92・82・81・90だった。

そのうえで、77％がAIの論拠を、ときに一字一句そのまま、自分の説明に使っていた。出どころとしてAIを挙げたのは15％。52％は、最終の提言はAIのものより自分のものだと答えた。

残りの14％を探す

AIに乗らなかった14％は、何を見て踏みとどまったのか。

研究を読んでも、その人たちは出てこない。書いてあるのは、経験や専門性では、だれが流されるかを予測できなかった、という一行だけだ。AIが口を開く前に自分の意見を言っていた人も、AIが反対すると60％で自分の意見を捨てていた。賛成されたときに変えたのは6％。著者のアレックス・タムキンは、40分以上かけて自分で分析したのに、最後はAIの別のやり方に乗った参加者がいた、とXに書いている。

では、AIを断れば勝ちなのか。AIを一度も使わなかった参加者は11人いた。その11人のうち55％が、手法の上で重大な誤りを犯した。AIを使った人では6％。かかった時間も、中央値で90分対65分。ただし研究は、この11人は平均して経験が浅く、そのまま比べられないと断っている。タムキン自身も、これはAIを一方的に悪者にする話ではない、と書いた。

つまり、AIを疑う力と、正しく分析する力は、別物らしい。

参加者は最後に、自分の提言への自信を0から100で答えている。0点は「コイントスと同じ」という意味だ。コイントスで決まった4つすべてにAIと同じ答えを出した人の自信は、平均71点だった。