AI クローラーがページを取得できなければ、引用されることはありません。例外はありません。
ChatGPT、Claude、Perplexity は、それぞれのクローラーが実際に読み取れたページから回答を組み立てます。robots.txt の disallow、ファイアウォールのルール、あるいは GPTBot に 403 を返すボット対策のミドルウェアがあると、それらのエンジンが生成するすべての回答から静かに除外されてしまいます。ブラウザーでは正常に見えるので誰も気づきません。気づくのは、競合がその引用を代わりに獲得したときです。
