Googleは現地時間1日、Robots Exclusion Protocol(REP)の解析ツールをオープンソース化したことを公式ブログGoogle Open Sourceで発表した。

「Google Robots.txt Parser and Matcher Library」(<a href="https://github.com/google/robotstxt" target="_blank">Github)</a>

「Google Robots.txt Parser and Matcher Library」(Github)

WebクローラーとWebサイトに設置されるrobots.txtとの間の通信の用いられるREP。ほぼ25年間にわたり事実上の標準であった一方、Webマスターやクローラー開発者にとって不確かな部分もあったことや現在IETE(Internet Engineering Task Force)と標準化のためのやりとりを行っていることを別の公式ブログ(Webmaster Central Blog)で明かしている。

公開された解析ツール「Google Robots.txt Parser and Matcher Library」(Github)は、Googleがrobots.txtの解析やマッチングルールのために利用してきたC++ライブラリ、テスティングツールなどが含まれている。