スクレイパーボットとは

Webサイトから大量のデータを自動的かつ定期的に収集するプログラム「スクレイパーボット」。利用にあたっての留意事項はあるものの、これ自体は正しく使えば有用な技術だ。だが、優れた技術も悪用されれば恐ろしい武器となる。

アカマイ・テクノロジーズマーケティング本部プロダクト・マーケティング・マネージャー中西一博氏は、「このスクレイパーボットを用いた情報の窃取（スクレイピング）が進化している」と語る。同氏によれば、ECサイトや航空会社、チケット販売会社などのWebサイトの多くはその対策に苦戦しているそうだ。各企業がさまざまな対策を打ち出すものの、敵も進化している。では今、その実態はどのようになっているのか。新たな攻撃スタイルへの対策は確立されているのか。

本稿では、中西氏にスクレイパーボットによる攻撃の最新動向ととるべき対策を伺った。

アカマイ・テクノロジーズマーケティング本部プロダクト・マーケティング・マネージャー中西一博氏

冒頭で述べた通り、スクレイパーボットとは、Webサイトから大量のデータを自動的かつ定期的に収集するプログラムを指す。収集に加えて、必要な情報の抽出や分析も可能だ。

そもそもボットには良性、悪性、そしてグレーなものが存在する。良性ボットの代表例は、検索エンジンに用いられるクローラーだ。検索結果が表示されるのは、どのWebサイトにどんな情報が載っているかを収集・抽出してくれるボットのおかげである。一方で、悪性ボットの代表例としては、サイバー攻撃の一種「Credential Stuffing（パスワードリスト型攻撃）」に用いられるボットなどが挙げられる。では、スクレイパーボットはどうか。中西氏はその存在を「グレー」だと表現する。

著作権法をはじめとする法律や利用規約などに準拠する必要はあるが、スクレイパーボットを用いること自体は違法行為とまでは言えず、そのプログラミング方法を紹介する書籍も多数存在する。だが、スクレイパーボットを用いて、未認可の情報収集を行う企業も存在している。例えば、競合他社のECサイトにボットを送信し、価格や商品在庫などの情報を収集するといった具合だ。そうしたスクレイパーボットによって自社が悪影響を被るとなれば、企業としては無視できない。

スクレイパーボットがビジネスに与える悪影響

では具体的に、スクレイパーボットはどのような影響をビジネスに与え得るのか。中西氏は「サイトの収益、ITコスト、顧客体験に悪影響を及ぼす」と話す。その具体例が以下の6つだ。

コンバージョン率の低下

スクレイパーボットによる過剰なアクセスが行われた場合、Webサイトのパフォーマンスが低下する。すなわち、“重い”状態になる。ユーザーから見ると、サイトがうまく開かないといったトラブルが発生しているため、離脱も発生するだろう。例えば、ECサイトでは訪れた全ユーザーのうち、商品の購入完了まで到達する割合が低下し、本来得られるはずの収益を失うことにつながる。

マーケティング分析データの汚染

Webサイトでマーケティングキャンペーンを実施している場合、ユーザーのトラフィックにボットからのトラフィックが混ざってしまい、データが汚染される。結果として、キャンペーンの効果測定が正しく行えず、的確な打ち手や投資の判断が阻害されてしまう。

ディープリンクへのアクセス不良

特定のページへダイレクトにリンクを貼るディープリンクを設置しているWebサイトも多い。同氏によると、スクレイパーボットによりディープリンクが上手く開かないようにする攻撃が行われた例もあるという。これも顧客体験の悪化につながる行為だ。

競合による価格情報の観察と値下げ

多くのECサイトでは、悪用目的などによるスクレイピングを禁止する利用規約を掲げている。しかし、それに反し、競合となる企業のWebサイト上の価格情報や在庫量をスクレイピングする例もある。そこで得た情報を基に、競合よりも少し安い価格で販売をしたり、在庫量の調整をしたりされれば、自社のビジネスに影響を及ぼすことは明確だろう。

在庫の買い占めと転売

主に転売を目的とした買い占めをするため、ECサイトなどにスクレイピングをする事例も横行している。これにより企業は商品を適切に消費者に届けられなくなるだけでなく、ブランドイメージを毀損する可能性もある。

偽造コンテンツの作成

スクレイパーボットは、Webサイト上のコンテンツをそのままコピーすることができる。仮にこの手法でコピーし、偽造されたWebサイトがフィッシング詐欺やオンライン詐欺に用いられた場合、ブランドイメージに大きな打撃を受けることは言うまでもない。

あるいは、ニュースやブログ、データベース化されたコンテンツを提供する企業は、自社の貴重な情報資産を奪われて、無断で転載や再販されてしまう危険性もはらんでいる。

「あるグローバル調査によると、ボットアクセスにより収益の6％以上を失った組織の割合は64％、『ユーザー体験が悪いとリピートする可能性が低い』と回答した消費者の割合は79％という数字が出ています。1つ1つのスクレイパーボットによるアクセスのインパクトは小さくても、その数が無視できない量になってしまえば、ビジネスに大きなネガティブインパクトを与えることになります。だからこそ、事業者として自衛する対策を打つ必要があるのです」（中西氏）

従来のスクレイパーボット対策と導入事例

スクレイパーボットへの対策として以前からあるのが、ボット管理ソリューションによる可視化と管理だ。アカマイ・テクノロジーズが2018年から提供するボット管理ソリューションの場合、マウスやタッチの軌跡、キー入力、スマートフォンのGPS動作、加速度センサーなどのデータを機械学習により分析することで、個々のアクセスが人間なのか、ボットなのかを判断する仕組みを搭載しているという。ボットであると判別した場合、ボットそのものをブロックすることも可能だが、回避行動をとられることを加味し、レスポンスを遅延するなどの悪影響を軽減する措置をとる場合が多いと中西氏は説明する。では、各企業はボット管理ソリューションを導入し、どのような成果を得ているのか。

楽天グループの事例

かつて、楽天グループでは、人気商品の買い占めや転売のために在庫状況を常に伺うスクレイパーボットによる大量の在庫照会アクセスや、とくにセール時のサーバの過負荷が大きな負担となっていた。そこでボット管理ソリューションを導入。結果として、全アクセスの70％に及んでいたボットアクセスを可視化し、サーバへの負荷を軽減する対策をとることができるようになったという。

イープラスの事例

チケット販売サイト・イープラスでは長年、転売目的によるチケットの買い占め対策を模索していた。購入時に難読文字を読ませる、パズルを解かせるといった対策や、短時間に大量のアクセスを行うものをボットだと判断してリジェクト処理を行うなどをしてきたが、対策としては不十分だったという。そこでボット管理ソリューションを導入。結果として、アクセスの約9割がボットであったことが可視化され、不正なチケットの取得を阻止することに成功したそうだ。

「注目していただきたいのは、どちらのケースもサイトの大部分のアクセスがボットで占められていたという点です。実際、弊社でボット対策の相談を受けるEコマースサイトのアクセス全体に占めるボットの割合を分析してみると、ほとんどのケースで70%を超えています。緩和対策が打たれていなければ、正規のアクセスの処理で用いる3～5倍のサーバリソースを投じなければ、サイトの処理が止まってしまうという事態が起きているのです」（中西氏）

対策を破るスクレイパーボットの進化

このように各企業がスクレイパーボットの対策に力を入れた結果、今、Webサイトへのスクレイピングの試みは以前より少なくなったのだろうか。中西氏はそれを否定したうえで、「スクレイピングは今も常態化しており、手法も進化を続けている」と述べた。

進化の一例として同氏が示したのがGUIを持たないヘッドレスブラウザを使用したアクセスだ。高度なヘッドレスブラウザからのアクセスは、主要なブラウザのヘッドレスモードを利用することで、人間がブラウザを使う際のアクセスに似せることができ、ボットであるかどうかの検知が難しくなってきているのだという。もちろん、既存の技術やパターンを組み合わせて検知することも可能だが、スクレイピングを行う側の技術もそれを回避するための進化を繰り返しており、攻・防双方で技術の競り合いが続いている。

また、従来のボット検知対策ではマウスの軌跡などのふるまいや、デバイス特徴を捉えた指紋（Fingerprint）などを用いて、ボットなのかを判断してきたが、この処理を検知すると回避行動をとるような高度なボットも出てきている。同氏はこれについて「スクレイピングによる収益を見込める場合、攻撃側はこのような処理にAIを使っている可能性も十分にあり、攻防の最前線ではAIとAIの戦いになってきている」と懸念を示した。

さらに、以前はブラウザベースのアクセスが多かったが、現在はAPIを狙った攻撃も増えており、APIをボットアクセスから守る必要性も高まっているそうだ。

スクレイパーボット対策のアップグレードが必要

アカマイ・テクノロジーズが、あるEコマースサイトの1週間のアクセス分析をしたところ、アクセス全体の27％が悪性ボットによるものであったという調査結果がある。27%の内訳をより詳しく見ると、従来のような単純なスクレイパーボットが37％、より高度なアルゴリズムを用いて、ボット検知を回避しようとするスクレイパーボットが47.5％、ヘッドレスブラウザを用いたアクセスが15.5％だったという。つまり、63％はこれまでのボット管理ソリューションでの対応で検知が難しいものになっていた。

「これまでスクレイパーボットの対策をしていたECサイトや各種チケット販売サイトでも、進化したスクレイパーボットによる被害が起きています。対策をアップグレードしていくことが今、必要になっているのです」（中西氏）

進化を遂げた検知回避型のスクレイパーボットを検知するために、より高度なAI技術を用いた対策ソリューションの導入が、国内でも複数の航空会社やEコマースサイトで進んでいる。例えば、アカマイ・テクノロジーズが提供する新たなソリューションでは、ボットやユーザーがサイトにアクセスしている間、常により高度な情報収集と分析を繰り返し、高度な検知回避型スクレイパーボット特有の動きを見分ける専門のAIを搭載している。

航空会社では、座席のセールス開始時期に合わせて、一斉に座席を仮押さえする転売業者が高度なスクレイパーボットの被害に苦しんでいる。決済期限までに転売が失敗すると、座席がキャンセルされ空席の多い状態でのフライトを余儀なくされてしまうためだ。そこで、国内のある航空会社でスクレイパーボット検知専用のソリューションを導入して、リアルタイムにボットを検知、活動を阻止したところ、それまで、何百件も発生していた転売業者のボットのよる不正予約がほぼ０件になった。その結果、不正予約をあとから見つけて手動でキャンセル処理していく非常に手間のかかる作業がなくなり、さらに経営面でも、不正予約によって困難になっていた収益の予測が精緻に立てられるようになったという。

*　*　*

ECサイトや航空会社、チケット販売会社などを狙って行われる悪質なスクレイパーボットによる情報の窃取や、ビジネスへの悪影響。多くの企業が対策を講じているものの、攻撃は進化し続けている。企業はより高度な対策を検討する必要があることを認識し、改めて対策を見直す時が来ている。