Google、OpenAI、Microsoftの3社は10月30日（現地時間）WebサイトのコンテンツをAIの学習に利用することについて、サイト運営者が共通の方法で許可・拒否の意向を示せる仕組みに対応する方針を発表した。Anthropicも同仕様の実装に着手している。

これまでWebサイト運営者は、AI企業ごとに異なるクローラーや設定方法に対応する必要があった。今回の取り組みでは、Webサイトのクローラー制御に使用する「robots.txt」に共通の指定を記述することで、複数のAI企業に対して学習への利用を許可・拒否する意向を伝えられるようにする。

AI学習の拒否を共通化、robots.txtで一括指定

今回の仕組みは、Internet Engineering Task Force（IETF）のAI Preferencesワーキンググループで進められている標準化作業に基づくもの。AnthropicのKevin Kelley氏が10月30日に提出したインターネットドラフト「Machine-Readable Training Preference Signal」で、具体的な指定方法が提案されている。

robots.txtは、検索エンジンなどのクローラーに対して、Webサイト内のアクセス可能な範囲を示すためのファイル。従来は、AI学習への利用を拒否する場合、各AI企業が提供するクローラー制御の仕組みなどを個別に利用する必要があった。

新しい仕様では、「_usageai-training」という共通のポリシートークンを使用する。例えば、robots.txtに以下のように記述することで、サイト全体についてAI学習への利用を拒否する意向を示せる。

User-Agent: __usage_ai-training
Disallow: /

特定のディレクトリだけを許可するなど、対象となるパスに応じた指定も可能となる。

ただし、この設定はAI学習への利用に関する意向を示すもので、Webサイトへのクロール自体を禁止するものではない。クローラーによるアクセスを制限する場合は、従来のクロール制御を別途使用する必要がある。

なお、今回の仕様はIETFで標準化が進められている段階であり、正式な標準としては確定していない。各社は今後、この仕様に基づく対応を進める予定だ。

Google・Microsoftは2027年から対応、OpenAIも導入へ

Googleは、2027年に共通仕様への対応を開始する方針を示した。

同社は現在、Webサイト運営者が「Google-Extended」を使用することで、Google検索向けのクロールを許可しながら、Geminiなどによるコンテンツ利用を制限できる仕組みを提供している。

共通仕様の導入後もGoogle-Extendedは継続する。Googleは、共通仕様でAI学習を拒否し、Google-Extendedを個別に指定していない場合、Google-Extendedについても拒否の意向が示されたものとして扱う予定だ。

一方、OpenAIは、今後数カ月以内の対応を目指すとしている。Anthropicも実装を進めているが、同社のサービス全体への対応には時間がかかる見通しだ。

Microsoftは、2027年2月1日から、Webページをクロールする際に新しい設定を読み取り、適用する予定。同社は共通仕様への対応に加え、ページ単位でAI学習への利用を制御する仕組みも導入する。

Microsoft、AI学習と回答生成時の情報利用を個別に制御

Microsoftは今回、AIモデルの学習と、AIが回答を生成する際にWebコンテンツを参照する「グラウンディング」を区別して制御する仕組みも発表した。

AI学習は、Webコンテンツをモデルの学習に利用することを指す。一方、グラウンディングは、AIがユーザーへの回答を生成する際に外部の情報を参照する仕組みだ。

Microsoftの新しい設定では、AI学習への利用を拒否しながら、Copilotなどが回答を生成する際の情報参照を許可するといった選択が可能になる。

さらに、Microsoft自身が提供するサービスでのグラウンディングを許可しつつ、外部企業向けに提供するサービスでの利用を制限する設定も用意する。

Microsoftによると、これらの設定は通常のBing検索結果への掲載資格には影響しない。ただし、AIによる情報利用の制御と検索結果への掲載は別の仕組みであり、検索結果への表示そのものが保証されるわけではない。

なお、Microsoftは従来の「NoArchive」「NoCache」に代わる設定として新しい仕組みを導入する。従来の「NoArchive」「NoCache」を使用してAI学習やグラウンディングを制限しているWebサイトでは、制限を維持するため、2027年3月1日までに新しい設定への移行が必要となる。

今回の共通仕様により、Webサイト運営者は複数のAI企業に対して、コンテンツの学習利用に関する意向を統一的に示しやすくなる。一方、共通仕様への対応は各企業の実装に依存するため、すべてのAIサービスによる利用を一律に制御できるわけではない。