インターネットの活用において検索エンジンは欠かせない存在だ。検索エンジンの雄であるGoogleは知らないサイトがないのではないかと思えるくらい、多くのWebサイトをクロールし検索対象としている。しかし、時には検索されたくないこともある。Google Webmaster Tools Team, Matt Cutts氏は9日(米国時間)、ブログを通じてGoogleから自分のコンテンツを削除する方法の説明を紹介している。

Matt Cutts氏はビデオキャストで検索エンジンに対して検索対象とさせない方法として次の6つの方法を紹介している。

  1. 検索エンジンの対象とさせたくないページはどこからもリンクを張らない
  2. .htaccessでパスワードが必要になるようにアクセスを規制する
  3. robots.txtで対象コンテンツの許可/非許可を指定する
  4. METAでNOINDEXを指定する
  5. METAでNOFOLLOWを指定する
  6. URLリムーバルツールを使う

Google検索エンジンはリンクをたどって対象となるページをクローリングしていく。つまりどこにもリンクを張らないシークレットページにしておけば、Googleの検索対象には入らないわけだ。しかしこれではあまり意味がない。しかもどこからか到達可能なリンクされてしまえばクロール対象になってしまう。これはあまりお薦めできない方法だ。

同氏が推奨するのは.htaccessで規制をかける方法と、URLリムーバルツールを使う方法の2つだ。.htaccessで規制する方法を推奨しているのは興味深い。たしかに、この方法であれば確実にコンテンツが検索エンジンにチェックされることを防げる。強力な方法だ。しかし若干人間にとってアクセスしにくい方法にはなる。

そこでもうひとつ推奨する方法がGoogleの提供しているURLリムーバルツール(Google Webmaster Tools)を使う方法だ。この方法であればGoogleに対してのみ細かい制御ができる。Googleでは検索されたくないが、ほかのWebサービスからはチェックして欲しいといった場合にも使える。Webコンテンツ管理者は一度同方法を検討してみるといいだろう。