米国Cloudflareは7月1日（現地時間）、許可や対価なくインターネット上のコンテンツにアクセスするAIクローラーをデフォルトでブロックすることを発表した。

これにより、同社のユーザーはAIクローラーにコンテンツへのアクセスを許可するかどうかを選択し、AI企業がコンテンツをどのように利用できるかを決定できる。

AIクローラーとは

AIクローラーは、インターネット上から文章、記事、画像などのコンテンツを収集・抽出して、回答を生成するが、ユーザーを参照元の情報には誘導しない。

これは結果として、コンテンツクリエイターから収益や、誰かが自らが生み出したコンテンツを求めているという満足感を奪い取っているという。

こうした状況に対し、同社は、オリジナルで質の高いコンテンツを制作することに対価が存在しなくなれば、社会はいずれ損失を被り、インターネットの未来は危険にさらされると指摘している。

インターネットに許可ベースのモデルを強制適用

同社は毎日数兆件のリクエストを処理しており、インターネット上の20％のトラフィックの管理と保護をサポートしている。

2024年9月にワンクリックでAIクローラーをブロックできるオプションを導入して以来、100万人以上のユーザーが、スクレイピングを停止する解決策として、このオプションを選択しているという。

同社は今、AIクローラーに対して許可ベースのモデルを強制適用するフェーズに踏み出しまた。今後、AI企業はスクレイピングを行う前にWebサイトから許可を取得する必要がある。

Cloudflareのサービスを利用すると、すべての新規ドメインはAIクローラーのアクセスを許可するかどうかを確認され、AIクローラーのアクセスを許可もしくは拒否するか事前に選択できるようになる。

これにより、すべての新規ドメインがデフォルトでAIクローラーのアクセスを制御できるようになり、Webページの所有者が手動でオプトアウト設定を構成する必要がなくなるという。