ヤフーがSplunk導入に踏み切った入り口は「MakeとUseの使い分け」

日本で「インターネットの入り口」と言えば、ヤフーをイメージする人が多いだろう。メールやオークションなど100以上の多彩なサービスを展開しており、Yahoo! JAPAN IDのMAU(Monthly Active User)は4000万人を数える。同社は現在、これらのサービスを下支えするインフラ環境をシフトさせている。

ログ基盤サービスを提供するSplunkはこの6月に「SplunkLive! Tokyo」を開催。ヤフー システム統括本部 プラットフォーム開発本部長の服部 典弘氏が、インフラ環境の変化にともなうSplunk導入の経緯や今後の展望などについて語った。その模様と登壇後のインタビューをあわせてお伝えする。

ヤフー システム統括本部 プラットフォーム開発本部長 服部 典弘氏

データ量が1日50TB増加、延々と溜まり続けるログデータ

MAUは4000万人のヤフーだが、ログインせずに利用するユーザーを合計すると月間利用者は6000万人に達しており、月間の総ページビューは631億以上にのぼるという。これらを支える基盤としてヤフーは、日本4箇所、北米1箇所に自らデータセンター(物理マシンが6万台以上、仮想マシンのインスタンス数は8万以上)を構えている。

ストレージを見れば、データは1日50～60TB増加し、ストレージとして37ペタバイトを保有していると服部氏は話す。その多くがログデータであり、ユーザーがYahoo! JAPANにアクセスする際に発生したデータとなる。膨大なトラフィックを支える環境としては、LinuxやApache、Hadoopといったオープンソース技術をベースに、独自チューニングを加えて開発基盤を作っているという。

ログの収集・管理方法を見直す背景には、インフラ環境の変化がある。ヤフーは「OpenStack」と「KVM」をベースにプライベートクラウド環境を用意し、100以上のサービスにプライベートなIaaSを提供していた。だが、PaaSの「Cloud Foundry」やコンテナクラスタ技術「Kubernetes」といった新しい技術が登場しており、開発者がインフラ運用する必要がない環境を構築できる。

社内でも2013年頃を起点に、こうした技術の利用が広まっており、「サービス開発者の負担を下げ、できるだけ中央に共通基盤を集めることで、運用負荷を下げたり、メンテナンスコストを下げる意図があった」(服部氏)。