Googlebotはリファラーを渡さない、常にダイレクトにURLにアクセスする

CRANK

Googlebot はリファラーを渡さない。常に、URL に直接アクセスしてくる。したがって、参照元に基いて Googlebot のアクセスをコントロールすることはできない。