検索しなくなるGemini、「最下位」評価を7,700本の文書で測った

10月6日、はてなの匿名投稿サービス「はてな匿名ダイアリー」に「geminiが難しい」という投稿が載った。書き手の不満は、GoogleのAI「Gemini」が一度「意固地モード」に入ると検索をしなくなる点だ。検索しろと言っても検索せず、「お前の聞き方が悪いんちゃうの？」と言い返されたという。

同じ日、この不満に答える形で別の投稿「Geminiの使いどころ🥹」が出た。こちらの書き手は自分の体験には触れず、対処として、設定にあらかじめ書いておく11項目の指示を示した。冒頭には「ChatGPT ＞ Claude ＞＞＞ Gemini」という自身の評価を置いている。はてなブックマークでは、10月7日時点で367users、117件のコメントが付いた。

処方は、11項目のカスタム指示

重点は3つ。「内部知識では確認できない」と「存在しない」を区別させること。利用者が検索を明示したら、過去に答えた話でも検索を省かせないこと。過去の回答と検索結果が食い違えば、検索結果を優先させること。

この「カスタム指示」はGoogleの公式機能である。公式ヘルプによれば、使えるのは個人のGoogleアカウントだけで、仕事用・学校用・管理対象のアカウントは対象外だ。

同じ文書を7,700本渡して測る

では、この序列は同じ条件で測っても成り立つのか。米Vectaraの幻覚（ハルシネーション）リーダーボードは、7,700本以上の記事を各モデルに要約させ、元の文書との食い違いを「HHEM-2.3」というモデルで採点する。呼び出しは原則temperature 0である。

2026年9月22日更新の数値では、Gemini-2.5-Flash-Liteが3.3%で、全体で3番目に低い。Gemini-2.5-Proは7.0%で、GPT-5.4と並ぶ。GPT-5.5は9.3%、ClaudeはSonnet-4-6が10.6%、Opus-4-7が12.0%。ここだけ見れば、Geminiは「＞＞＞」の向こう側にいない。

ただし、同じ表の新しい世代は逆を向く。Gemini-3系のプレビュー版は8.2〜13.6%で、先に挙げたClaudeの数値と重なる。世代をそろえずに並べれば、どちらの結論も作れてしまう。

そもそも、測っているものが違う。この検証は、要約する文書を最初に渡している。投稿で問題なのは、文書を渡していない場面で、Geminiが自分で読みに行くかを決めるところだ。Gemini APIの技術文書によれば、アプリが検索の道具を渡しても、検索するかを判断するのはモデル自身である。なぜ場面によって検索しなくなるのかは、出典では確かめられなかった。

ネットの評判

コメントは、不満と、投稿の中身が古いという疑いに分かれた。「Geminiはとにかく自信過剰でね。間違えを直しました（直っていない）。今度は完璧です（悪化）。」という声がある一方、「3.8 Flashはここに書かれてるようなこと大分目立たなくなったけどな。」という指摘も出た。

11項目を示した投稿者自身も、それで足りるとは書いていない。「カスタム指示は『Web検索ツールを強制ONにするスイッチ』ではありません」と書き、画面に「Web検索」ボタンがある方が確実だという元投稿の主張に理があるとした。元投稿が求めたのは、設定に書き写す11項目ではなく、画面に「Webを検索する」ボタンを1つ付けることだった。