AI注目記事のキュレーターページ

Microsoft Clarityのボット分析ダッシュボードが、robots.txtで禁止されているURLへのボットリクエストを検出し、表示する機能を追加しました。これにより、サイトオーナーはAIクローラーのコンプライアンスに関する懸念を解消するための無料の手段を得ることができます。この機能は、サポートされているCDNに接続するか、最新のClarity WordPressプラグインを使用することで利用可能です。ボットリクエストは、ボットオペレーターやリクエストの種類、要求されたURLなどでフィルタリングでき、ルールを守るクローラーと違反するクローラーのパターンを比較することができます。Clarityは、ボットリクエストがあったことを記録するだけで、なぜそれが発生したのかは示しませんが、サーバーリソースを消費するAIクローラーの活動を把握するために重要です。