[2ページ] : 社内評判は秋の正式ローンチ前でも「とても良い」
[3ページ] : 数百TBデータを取り扱う時が懸念するポイント
日本で「インターネットの入り口」と言えば、ヤフーをイメージする人が多いだろう。メールやオークションなど100以上の多彩なサービスを展開しており、Yahoo! JAPAN IDのMAU(Monthly Active User)は4000万人を数える。同社は現在、これらのサービスを下支えするインフラ環境をシフトさせている。
ログ基盤サービスを提供するSplunkはこの6月に「SplunkLive! Tokyo」を開催。ヤフー システム統括本部 プラットフォーム開発本部長の服部 典弘氏が、インフラ環境の変化にともなうSplunk導入の経緯や今後の展望などについて語った。その模様と登壇後のインタビューをあわせてお伝えする。
データ量が1日50TB増加、延々と溜まり続けるログデータ
MAUは4000万人のヤフーだが、ログインせずに利用するユーザーを合計すると月間利用者は6000万人に達しており、月間の総ページビューは631億以上にのぼるという。これらを支える基盤としてヤフーは、日本4箇所、北米1箇所に自らデータセンター(物理マシンが6万台以上、仮想マシンのインスタンス数は8万以上)を構えている。
ストレージを見れば、データは1日50~60TB増加し、ストレージとして37ペタバイトを保有していると服部氏は話す。その多くがログデータであり、ユーザーがYahoo! JAPANにアクセスする際に発生したデータとなる。膨大なトラフィックを支える環境としては、LinuxやApache、Hadoopといったオープンソース技術をベースに、独自チューニングを加えて開発基盤を作っているという。
ログの収集・管理方法を見直す背景には、インフラ環境の変化がある。ヤフーは「OpenStack」と「KVM」をベースにプライベートクラウド環境を用意し、100以上のサービスにプライベートなIaaSを提供していた。だが、PaaSの「Cloud Foundry」やコンテナクラスタ技術「Kubernetes」といった新しい技術が登場しており、開発者がインフラ運用する必要がない環境を構築できる。
社内でも2013年頃を起点に、こうした技術の利用が広まっており、「サービス開発者の負担を下げ、できるだけ中央に共通基盤を集めることで、運用負荷を下げたり、メンテナンスコストを下げる意図があった」(服部氏)。
[2ページ] : 社内評判は秋の正式ローンチ前でも「とても良い」
[3ページ] : 数百TBデータを取り扱う時が懸念するポイント