AI注目記事のキュレーターページ

Cloudflareは、AI業界に対して新たな期限を設定し、従来の検索目的で使用されるウェブクローラーとAIエージェントやトレーニング用のクローラーを分けるよう求めています。2026年9月15日から、Cloudflareのデフォルト設定では、広告を掲載しているページから「混合使用」のクローラーがブロックされることが発表されました。これは、検索、エージェント使用、トレーニングを組み合わせたクローラーが、サイト所有者が設定を変更しない限り、これらのサイトをクロールできなくなることを意味します。この変更は、新しいCloudflareの顧客、新たに設定された既存顧客のサイト、すべての既存の無料顧客に適用されるとのことです。

この動きは、AIモデル提供者がトレーニング目的でウェブコンテンツにアクセスする方法や、エージェントサービスを強化する方法に影響を与える可能性があります。Cloudflareは、ほとんどのウェブサイト所有者が自分のコンテンツを検索やAIサービスを通じて発見可能にしたいと考えているが、知的財産が無料で提供されることに対する保護を求めていると指摘しています。

Cloudflareは、特に「世界最大の検索エンジン」（明らかにGoogleを指しています！）が、他のAI企業よりも約「2倍多くの情報」にアクセスしていると述べています。これは、検索のために顧客が発見可能であることが難しくなるためです。Googleは過去にこの一般化に反論しており、サイト所有者がトレーニングやAI製品・サービスにコンテンツを使用されることをオプトアウトできるGoogle Extendedというボットを提供していると述べています。

Cloudflareの共同創設者兼CEOのマシュー・プリンスは、「インターネット上のトラフィックの大半が非人間である今、持続可能なエコシステムが生まれるように、さらに進み、迅速に行動する必要がある」と述べています。Cloudflareは、出版社がAI時代においてコンテンツをよりコントロールできるようにするためのツールを提供しており、最近ではAIボットに対抗するためのツールを導入しました。これには、ウェブサイトがAIボットに対してスクレイピング料金を請求できる「Pay Per Crawl」というマーケットプレイスが含まれています。これが「Pay Per Use」に進化し、出版社がコンテンツが価値を生むときにAI企業に料金を請求できるようになります。