業界インサイト · 初期テストの観察
AI がよく引用するサイトは、モデルや調べる時期で変わる?
今回入手できたテスト記録では、よく引用されるサイトが 2 つのモデルで異なりました。同日の再テストでは上位 10 サイトの顔ぶれが近く、17 日間隔の比較では入れ替わりが増えていました。モデル別・実施日別に違いを読み、ブランドチームの引用元確認にどう活かすかを紹介します。
資料の範囲:今回の分析は、各テストの入手済み記録 47・45・48 回分を使っています。予定された各 50 回分すべてではありません。欠損の理由は不明で、資料の件数の違いが比較に影響し、全件がそろうと数値が変わる可能性があります。
同じ質問をすると、2 つのモデルは同じサイトを引用する?
今回の比較では、二つの上位 10 サイトの一覧に共通するのは 1 サイトでした。8 月 27 日のテスト A について、モデルごとに 3 問の引用をまとめ、引用数の多い 10 サイトを選んだ結果です。モデルを一つのランキングにまとめると、こうした違いが見えにくくなります。まずモデル別に記録し、詳しく確かめるサイトをチームで選びます。
同じ 3 問の引用記録をモデル別に集計し、引用数の多い 10 サイトを選んでいます。図の数値は、二つの一覧に共通するサイト数です。順位や回答内容の一致、内容の正確さを測ったものではありません。
出典:REALI が 2026 年 8 月に実施した 3 回のテストのうち、入手できた明細。2026-10-04 の再集計版を使用しています。
モデル名は 2026 年 8 月のテストのエクスポート表記に基づきます。本稿はその記録内の引用サイトを比較したもので、現在の一般向け ChatGPT や Gemini の性能を示すものではありません。詳しい条件は下の方法説明をご覧ください。
これは 3 問をまとめた結果です。各質問で共通サイトが 1 つだけという意味ではなく、別のモデルのバージョンや業界でも同じ結果になるとは言えません。
同日の再テストと 17 日後のテストでは、何が違う?
同日の再テストでは短い間隔での違いを、17 日後のテストでは二つの実施日の間の変化を見ます。以下はいずれも、3 問をまとめた上位 10 サイトの比較です。顔ぶれが同じでも、順位、引用回数、回答内容が同じとは限りません。質問ごとの結果は別に確認する必要があります。
初回テスト
47 ラウンド分の明細あり
同日のテスト A
45 ラウンド分の明細あり
同日のテスト B
48 ラウンド分の明細あり
同じ 3 問の引用記録をモデル別に集計し、引用数の多い 10 サイトを選んでいます。図の数値は、二つの一覧に共通するサイト数です。順位や回答内容の一致、内容の正確さを測ったものではありません。
出典:REALI が 2026 年 8 月に実施した 3 回のテストのうち、入手できた明細。2026-10-04 の再集計版を使用しています。
*Gemini の 8/27-B では、上位 10 サイトの境目で 2 サイトが各 56 件の引用で並んでいます。ドメイン名のアルファベット順で選ぶと共通サイトは 10/10、もう一方なら 9/10 です。比較しているのは顔ぶれで、順位や回答の一致ではありません。
同じ 3 問の引用記録をモデル別に集計し、引用数の多い 10 サイトを選んでいます。図の数値は、二つの一覧に共通するサイト数です。順位や回答内容の一致、内容の正確さを測ったものではありません。
出典:REALI が 2026 年 8 月に実施した 3 回のテストのうち、入手できた明細。2026-10-04 の再集計版を使用しています。
ここで比べているのは、一組の同日再テストと二つの実施日の記録です。チームは調査を比較の起点として残し、継続して確認する質問を選べます。
引用元の違いから、確認することと対応を決める
8 月 27 日 A バッチの 3 問をモデルごとに集計すると、多く引用された上位 10 サイトのうち、共通していたのは 1 サイトでした。PR・広報チームは次に、引用元の違いによってブランドの説明にも違いが生じているかを確認できます。
01 · 確認すべき記述を見つける
モデルと質問ごとに回答の原文を読みます。ブランドの基本情報、製品の対象範囲など、重要な記述を選び、引用されたページを開きます。
02 · 問題があるかを人が判断する
情報の日付と文脈、引用元が回答を裏付けているかを確認します。引用元が異なるだけで回答が誤りとは限らず、引用回数の多さも正確性を示すものではありません。
03 · 対応を選び、変化を確かめる
情報の古さ、説明の不足、同名ブランドとの混同が見つかった場合は、自社サイトの補足、公開紹介文の見直し、引用元への訂正依頼などを検討します。変更日を記録し、比較できる条件で関連する質問を再テストします。
これは調査結果を読み解き、実務につなげるための考え方です。引用元の違いだけでモデルの正確性や、施策実施後の PR 成果を判断することはできません。
GPS が調査から定点観測につなぐ流れを見る数値はどのように計算したか?
集計方法とモデルの条件を開く
今回の分析には、入手済みの空でない回答 839 件と、各回答内の重複 URL を除いた引用記録 8,908 件を使っています。同じ健康食品分野の 3 問をモデル別にまとめた記録です。これらは入手できた資料の件数で、引用内容を検証済みの件数ではありません。
URL の数え方:エクスポート内の正規化済み URL を優先し、# 以降のフラグメントと末尾のスラッシュを除いて、回答内の重複 URL を取り除きます。同じサイトの別ページは、それぞれ 1 件と数えます。サイトの分け方:ドメイン名を小文字にして www. を除き、元研究の三つの別名統合ルールを適用します。それ以外のサブドメインは別扱いです。引用数の多い順に並べ、同数ならドメイン名のアルファベット順にします。
数え方を変えると結果も変わります。同じ回答内では、何ページあっても同じサイトを 1 回と数える場合、8/27-A のモデル間で共通する上位サイトは 2 サイト、Gemini の 17 日間隔の比較では 8 サイトです。本稿の数値は、上記の引用記録による集計方法で読む必要があります。
エクスポート上のモデル表記は gpt-5.6-sol と gemini-3.6-flash で、本文では GPT、Gemini と略しています。当時の実際の API 接続先、プロンプト全文、検索設定、キャッシュの状態は独立に確認できていません。この資料から、現在の一般向け ChatGPT や Gemini の性能を判断することはできません。
本分析は記録を記述的に比較したものです。統計的な有意差の検定や、引用ページの内容の個別確認は行っていません。
サイト数と引用量のカバー率は、どう違う?
- サイトのカバー率
サイトのカバー率:基準データにある異なるサイトのうち、少ない回数で見つかったサイトの割合。
- 引用量のカバー率
引用量のカバー率:そのサイト群が、基準データ全体の引用量に占める割合。
この観察の読み方
対象は、健康食品分野の一組の質問、2 つのモデル、二つの実施日について入手できた引用記録です。詳しく確認したり、継続して追ったりする引用元の違いを見つける手がかりになります。質問、業界、モデルのバージョンが違えば、結果も変わる可能性があります。引用の変化だけでは、その原因、情報の正確さ、ブランドや事業への効果は判断できません。
出典は何か、誰が公開しているか?
出典:REALI が 2026 年 8 月に実施した 3 回のテストのうち、入手できた明細。2026-10-04 の再集計版を使用しています。
本稿は REALI が執筆・公開しています。研究資料を保護するため、ブランド名、質問原文、回答全文、特定につながる引用元リストは公開していません。調査方法、資料の範囲、内容の更新情報は本ページに記載しています。
自社ブランドの調査はどこから始める?
まず、自社ブランドについて知りたいことを整理します。そのうえで、調査範囲、必要な成果物、チームでの使い方を相談します。GPS(GEO Positioning System)は、このブランド調査を進めるための REALI のワークフローです。