Googleがrobots.txtを無視する理由とSEOへの悪影響
サマリー
Googleのジョン・ミューラーがrobots.txtの誤用について説明し、特定のユーザーエージェントに対する指示が優先されることを指摘しました。これにより、検索ボックスのスパムがインデックスされる可能性があります。noindexディレクティブを使用することで、効果的にスパムを防ぐことができます。
本文
Googleのジョン・ミューラーは、robots.txtに関する質問に答え、Googlebotがrobots.txtのルールを無視する可能性があることを説明しました。この問題は、検索ボックスのスパムがGoogleにインデックスされることに関連していましたが、誰にでも起こり得る一般的なミスです。質問者は、Shopifyの検索ボックスがスパムを生成し、robots.txtでインデックスを禁止しているにもかかわらず、Googleがそれをインデックスしていると報告しました。ミューラーは、特定のユーザーエージェントに対する指示が優先されるため、一般的なルールが無視されることがあると指摘しました。これを防ぐためには、noindexディレクティブを使用することが効果的です。WordPressやShopifyには、検索ボックスのスパムを軽減する方法が用意されています。
