Study Design · 調査設計

AI が引用する情報源は、再テストしても同じでしょうか？

この研究設計では、健康食品分野の同じ 3 問を使い、2 つのモデルが同日と 17 日間隔のテストで引用するサイトを比較します。本ページでは、テストの組み方、引用記録の数え方、サイトの顔ぶれ・順位・引用量を分けて読む方法を説明します。公開済みの観察結果は、別の比較記事で紹介しています。

対象は AI の回答に表示された引用であり、商品の効能、ブランドの推奨、売上への効果を評価する調査ではありません。

実際のテストは、どう行ったか

質問セット

健康食品分野の同一テーマに関する3つの質問。質問原文とブランド資料は公開しません。

実施日

2026-08-10と2026-08-27に、計3組のテストを実施。

対象モデル

エクスポート上のバージョン表記：gpt-5.6-sol、gemini-3.6-flash。

比較する単位

モデルごとに、引用されたサイトと引用記録の件数を集計します。3 問をまとめたランキングと、質問ごとのランキングも分けて読みます。

どの問いを分けて調べる？

引用元のリストが同じなら、回答も同じでしょうか？

同じとは限りません。上位 10 サイトの顔ぶれが一致しても、順位、引用回数、回答内容は異なることがあります。まず共通するサイトを数え、順位、引用量、回答はそれぞれ別に確認します。

二つの一覧に共通するサイトは何件？

2つの上位10サイト一覧に共通するサイトの数

「よく現れるサイトが同じか」を見ています。サイトの順位や回答内容を比較する数値ではありません。

主要な引用元が占める割合

上位10サイトへの引用記録 ÷ そのモデルの全引用記録

「引用が少数のサイトに集中しているか」を見ています。計算の分母は引用記録の総数で、回答数やブランドへの言及数ではありません。

ここで示しているのは比較方法で、研究結果ではありません。各モデルに同じ明確な集計ルールを使い、結果はモデル別に読み取ります。

なぜモデルを分けて見るのでしょうか？

モデルを分けると、それぞれがよく引用するサイトと、引用の集中度が見えます。一つのランキングにすると、その違いが隠れる可能性があります。各モデルの一覧と分母を残してから、共通する引用元を比べます。引用の集中度で、どちらのモデルが正確かは判断できません。

調査結果を、PRのどのような判断に活かせますか？

チームが詳しく確かめるべき点を見つける助けになります。まず引用先を開き、AI の記述を裏づける内容かを確認します。そのうえで、ブランドの課題に応じて、情報を補うか、再テストするか、観察を続けるかを決めます。

1. 調査記録を残す

   質問、モデル、条件、回答、引用を一緒に確認します。

2. 引用先を確認する

   引用元がその記述を裏づけているか、どこまで当てはまるかを、人が確認します。

3. 次の行動を選ぶ

   チームが、改善に取り組むか、再テストするか、定期的に観察するかを決めます。順位だけを見て行動を決めるものではありません。