マイナビニュースマイナビ

ヤフーがSplunk導入に踏み切った入り口は「MakeとUseの使い分け」

[2017/06/22 10:55]末岡洋子 ブックマーク ブックマーク

なぜ横断基盤が必要になったのか

インフラ環境の変化で問題となったのが、ログだ。

同社では「アクセスログ」とアクセスログ以外の「アプリログ」という2種類にログを分類しているが、それまではアクセスログは1箇所に集計し、アプリログについてはサービス単位で集計し、中央で管理していなかった。問題が生じると、該当するサービスのエンジニアがサーバーにログインしてログファイルを見てデバッグするという手法をとっていた。服部氏は、「サービスのアーキテクチャが変わり、ログに対するニーズも変わる。ログの管理手法を変える必要があった」と流れを説明する。

具体的な課題としては、上記のインフラ環境の変化がもたらすマイクロサービス化によってログが分散した。また、サービスによるログへのニーズがバラバラで、知りたい情報が異なるという課題も顕在化した。メディア系サービスはPVなどのログが知りたいが、EC系は取り扱いやコンバージョンレートが重要になるといった細かい差異が生じていた。

ニーズがバラバラであればログ管理をサービスごとに区切れば良いかもしれないが、「複雑化するログ管理をサービスごとに行うのはかえって非効率」と服部氏。「複数のサービスにまたがる横断的分析が可能になる」というメリットもあり、全社共通の基盤化を進めることにした。

それを実現する新しい手法として選んだのが、Splunkだったそうだ。

社内評判は秋の正式ローンチ前でも「とても良い」

実際に検討を始めたのが2015年で、2016年秋にはSplunkの導入を決定した。決め手について服部氏は「 1. 様々なタイプのログを扱うことができる」「 2. 大量のログに耐えうるアーキテクチャ」を挙げる。「我々よりもさらに膨大なログ・データを持っている会社がSplunkを使っており、大規模システムの事例がある」(服部氏)ことから、ほかに検討したOSSや商用サービスと比較した際に魅力的に映ったそうだ。

また、本番稼働に向けて行った負荷テストでも、期待は裏切られなかったようだ。「我々のデータの中でも特に大きく、1日10TB以上ある」というDNSクエリログで試したところ、「10TBのログはなかなか収集できないが、問題がなかった」(服部氏)。

ただ、完全に問題がなかったわけではなく、収集したデータを取り出す部分で複数の検索をかけると、サーバーに支障が出た。このケースではSplunk側と相談して、チューニングにより問題解決を図った。そのお陰で現在は自社のケースにおいては問題なく稼働しているという。

現在は、パイロットリリースとして「Cloud Foundry」に導入しており、ログの収集と検索の仕組みを構築した。社内イントラネットとプロダクション、規模が大きな特定サービスの3つでSplunkを使っており、合わせて内製のログ管理ツールを、アクセスログはHadoopを基盤としたシステムを用意するなど、使い分けを行なっているとのことだ。

服部氏によるとユーザーは少しずつ増えており、社内の評判は「とても良い」という。これまでアプリログについては謹製のツールを用意してこなかったが、Splunkのお陰で「便利で検索も早い」という声が上がっていると服部氏は話す。

※ 本記事は掲載時点の情報であり、最新のものとは異なる場合がございます。予めご了承ください。

もっと知りたい!こちらもオススメ

スポーツの代表チームは、どんなデータを分析しているのか - Watson Summit 2017

スポーツの代表チームは、どんなデータを分析しているのか - Watson Summit 2017

競技スポーツにおいては、アナリティクス活用にはまだまだ課題が多いのが現状だ。そうした課題にどう対応しているのかについて、河合氏が自らの大学の研究成果を交えながら、展望を示した。

関連リンク

この記事に興味を持ったら"いいね!"を Click
Facebook で TECH+ の人気記事をお届けします
注目の特集/連載
[解説動画] Googleアナリティクス分析&活用講座 - Webサイト改善の正しい考え方
ニューノーマル時代のオウンドメディア戦略
ミッションステートメント
教えてカナコさん! これならわかるAI入門
AWSではじめる機械学習 ~サービスを知り、実装を学ぶ~
対話システムをつくろう! Python超入門
Kubernetes入門
SAFeでつくる「DXに強い組織」~企業の課題を解決する13のアプローチ~
PowerShell Core入門
AWSで作るマイクロサービス
マイナビニュース スペシャルセミナー 講演レポート/当日講演資料 まとめ
セキュリティアワード特設ページ

一覧はこちら

今注目のIT用語の意味を事典でチェック!

一覧はこちら

会員登録(無料)

ページの先頭に戻る