Yahoo! Search Blogにおいて14日(米国時間)、Yahoo! Search, Sharad Verma氏およびYoram Arnon氏は最新のYahoo!クローラ"Yahoo! Slurp 3.0"が正式に動作しはじめたことを伝えている。同クローラはすでに数週間前から準備が進められてきたもので、インフラストラクチャの更新も含めて作業が進められてきたとされている。
クローラはYahoo! Slurp 3.0とバージョンが更新されているが、"Yahoo! Slurp"の名称を使っているのであれば従来のrobots.txtの設定がそのまま使える。バージョン番号を含めている場合には変更を検討されたい。
Yahoo! Slurp 3.0ではこれまで同様にcrawl.yahoo.netドメインのもとでクロールが実行される。このため、DNSの逆引きを使ってYahoo! Slurp 3.0からのクロールかどうかをチェックしているのであれば、チェックはこれまでどおり動作する。逆に、IPベースでYahoo! Slurp 3.0クロールかどうかをチェックする方法はうまく動作しない。同社はこの問題を回避するためにもIPベースでチェックを実施している場合にはDNSの逆引きを使ってYahoo! Slurp 3.0クロールをチェックする方法へ切り替えることを強く推奨している。
Yahoo! Slurp 3.0で使うユーザエージェント名は"Yahoo! Slurp/3.0"となる。robots.txtディレクティブで"Slurp"または"Yahoo! Slurp"が指定されていれば、従来どおり設定が有効になる。稀なケースだが"Slurp/2.0"が指定されている場合はYahoo! Slurp 3.0の対象とはならないため注意しておきたい。ちなみに同社は"Slurp"という名称を指定することを推奨している。
