検索結果に表示させない技術 robots.txt と X-Robots-Tag を正しく組み合わせよう

ARANK

検索結果にウェブページを載せたくない、というモチベーションの元でのrobots.txt と X-Robots-Tag によるクローラー制御について。