株価急落直後のUALの見解
UALは株価急落の発生した8日午前に緊急声明を発表している。それによれば、同社が破産法を申請したというレポートはまったくの誤りであり、Florida Sun Sentinelが6年前のChicago Tribuneの記事を無責任にも日付を変更してWeb上に掲載したことに起因するという。UALは2006年2月に11条による再建状態から脱しており、今回の件でSun Sentinelに対して記事の撤回を要求するとともに、調査を開始したと締めている。
株価急落を受けて緊急に用意した声明のため本文が短いが、この時点でUALはSun Sentinelが過去の記事の日付を最新のものへと変更して掲載したことがすべての元凶であると認識していることがわかる。
Googleによる記事のクローリングまでの過程分析
Googleから現時点で正式なアナウンスは出ていないため、米Wall Street Journalの10日付の紙面に掲載されたニュースを基に、Google側の分析結果を追っていこう。
同紙によれば、Googleが問題の記事をクロールしたのは6日の夜だったという。同日午後10時36分(PDT: 西海岸時間)にGoogleクローラーがSouth Florida Sun SentinelのWebサイトの「Popular Stories: Business(人気記事: ビジネス)」の項目に新しいリンクを発見した。このリンク先のページこそが2002年のChicago Tribuneの記事で、直前のクロール日時である午後10時17分には発見できなかったものだったという。なぜこの記事が人気記事としてランキングに出現したかは不明だ。
このWSJの記事の配信時点ではTribuneからの正式声明はまだ出ていないが、Tribune関係者からのコメントとして、6日夕方あたりからトラフィックが増え始めたことを確認していたと紹介している。またWSJの記事の中では、投資家らの声として、UALの財務状況への不安を煽るためにWebのトラフィックを操作したのではないか、という噂があることにも言及している。そしてSun Sentinel側の問題として、Chicago Tribuneから配信された記事に"配信日が入っていなかった"ことが問題を大きくしたとも指摘している。
「記事リンクの誤掲載はGoogle Newsに起因する問題」とTribune
こんどは10日夜になり、Tribune側から正式見解が発表された。それによれば、Sun SentinelがChicago Tribuneの記事を再掲載したという事実はなく、問題の記事はSun Sentinelが以前より掲載していた記事が手つかずで残っていたものだという。そのためURLの変更もなく、当初UALなどから指摘されていた誤報という事実は存在しないというものだ。唯一の違いは、その過去記事が人気記事としてランキングに出現したことだけで、それをGoogleがクローラーで拾ったのがすべての始まりだというのだ。
Tribuneがアクセスログの検査を行ったところ、9月7日午前1時0分34秒(EDT)つまり西海岸時間で6日午後10時0分34秒(PDT)に同ページに対する1件の訪問記録が確認されたという。通常、このような深夜にはビジネス分野の記事に対するアクセスはほとんどないため(地元紙が拠点にするフロリダは深夜1時)、これが結果として「Popular Stories Business: Most Viewed(ビジネスの人気記事: 最も見られたもの)」のタブにリンクとして出現したと分析している。その後、7日1時36分3秒(EDT)にフライトのキャンセルに関する航空会社のポリシーに関する記事がSun Sentinelで閲覧され、「Popular Stories Business: Most Viewed」のタブを経由して当該の記事へとジャンプするリンクがクリックされたことを確認している。Tribuneが"Googlebot"と呼ぶGoogleクローラーが到着したのがその52秒後のことで、再びSun Sentinelのサイトと当該記事をクロールしていったという。
だがTribuneがここで強調するのは、この時点で記事本体やURLにはいっさいの変更が行われていなかったという点だ。それにも関わらずGoogleは当該記事を緊急ニュースとして扱い、Google Newsの中で日付を「2008年9月6日」と記してユーザーにリンクを公開していたという。Tribuneの分析によれば、Google Newsとして記事のリンクが同サイトに出現したのはちょうど3分後の1時39分59秒(EDT)だったという。その後、7日の日曜日にはGoogleを経由して当該記事へのアクセスが急増し、Google Newsのサマリーを会員向けにBloombergが配信した8日午前にはさらにアクセスが増えたという。
Tribuneは声明の中で「Googlebotに問題があることは数ヶ月前から認識しており、Googleに対してSun SentinelなどのWebニュースサイトのクローリングを止めるよう伝えていた。それにも関わらず、Googleは引き続きSun Sentinelのクローリングを続けていた」とGoogleを非難している。最大の問題は、Google Newsの自動分類アルゴリズムがニュースの優先順位を判断できていないことというのが同社の主張だ。
