Claudeの共有チャットがGoogleに表示された理由：DisallowはNoindexではない
サマリー
Claudeの共有チャットがGoogleに表示された問題について、robots.txtとnoindexタグの矛盾が指摘されています。これにより、クローラーがアクセスできないページがインデックスされる可能性があります。Anthropicは、共有リンクが公開される条件について説明していますが、ルールの矛盾は解消されていません。
本文
共有されたClaudeのチャットがGoogleの検索結果に予期せず表示されました。これらのページはGoogleにリストしないよう指示していますが、その指示はブロックされています。共有を解除することで問題が解決します。7月27日にClaudeの共有ページのクロールルールを確認したところ、robots.txtによってアクセスが制限されているnoindexディレクティブが隠れていることがわかりました。robots.txtファイルは、claude.aiの/share/*をUser-agent: *グループの下で禁止しており、Googlebotがアクセスできないため、noindexタグは機能しません。これにより、ルールが相互に矛盾しています。Googleのガイドラインによれば、noindexタグはクローラーがページにアクセスできる場合にのみ機能します。robots.txtでブロックされたページは、他のページからリンクされている場合、インデックスされる可能性があります。これにより、GoogleはURLを確認することができますが、実際にはページを開くことはありません。これに関して、Anthropicは、共有リンクはクローラーがアクセスできる場所に投稿された場合のみ検索結果に表示されると述べていますが、7月27日に見つかった矛盾するルールには対処していません。今後は、AIチャットやアーティファクトの共有に関するルールを確立することを検討してください。
