【サイバーエージェント事例】データ基盤運用工数の削減とサイロ化の回避のため新たなデータプラットフォームへ移行。管理工数の劇的な削減など、大きな成果を挙げる

株式会社サイバーエージェントは子会社による事業多角化を推進する一方、子会社ユニット化によるシナジー醸成にも積極的に取り組んでいる。

専務執行役員の飯塚 勇太氏が代表を務める企業によるユニットもその一つだ。その中でも株式会社CAMと株式会社タップルは、管理工数の増大やデータサイロ化といった、データ基盤の異なる課題に直面していた。

データ戦略やAI戦略の面で、その司令塔としての役割を担うIUデータサイエンスセンターは、データ基盤の全面的な見直しを行い、この課題を解決したという。

新たなデータプラットフォームは、データ基盤管理工数の大幅な省力化を実現するだけでなく、データ民主化に大きな役割を果たすことが期待されている。

このように大きな成果を挙げた同社の取り組みにおけるキーパーソンに話を伺った。

コスト削減のためのデータマートの細分化が管理工数の増加に直結

新しい力とインターネットで日本の閉塞感を打破する――。株式会社サイバーエージェント（以下、サイバーエージェント）は、新しい力とインターネットで日本の閉塞感を打破することを掲げ、革新的なサービス提供し続けているIT企業だ。

FIFA ワールドカップ カタール 2022 の全64試合無料生中継で注目されたABEMAなどのメディア事業、国内トップシェアを誇るインターネット広告事業、スマートフォン向けゲーム事業など、インターネットを軸に多角的に展開される同社の事業の多くは、事業子会社により運営されている。

エンタテインメントメディア事業を手掛ける株式会社CAM（以下、CAM）、マッチングアプリを開発・運営する株式会社タップル（以下、タップル）もその一つ。サイバーエージェント専務執行役員である飯塚 勇太氏が代表を務める両社はIUと名付けられた社内ユニットを構成し、シナジー創出を図っている。データ戦略やAI戦略の面でその司令塔としての役割を担っているのがIUデータサイエンスセンター（以下、IUDSC）である。データがより大きな意味を持つようになる中、IUDSCとしての取り組みが求められたのがデータ基盤の全面的な見直しだった。IUDSCマネージャーを兼任するCAＭのデータマネジメントグループ マネージャーの杉山 仁則氏は、両社がそれぞれ直面していた課題をこう説明する。

「CAMが直面したのは、管理工数の増大でした。データ基盤にクラウド型DWHを利用していた同社は、データスキャン量で料金が生じるサービスにおいて、少しでもコストを削減するため、パーテーションで細かく区切ったデータマートをいくつも用意し、運用していました。サービスが多岐にわたることもありマート数は200を超え、その管理に多くの労力が必要にな りました。特に問題になったのが、毎日行うバッチ処理におけるトラブルへの対応でした。トラブルのたびにエンジニアリソースが割かれてしまうため、この改善が急務の課題になっていました」

一方でタップルが直面していたのは、データサイロ化の問題だった。

「サイバーエージェントはオンプレミスのデータ基盤を用意し、メディア事業部門を中心に大量ログをいったんそこに放り込むという運用を行っています。堅牢性という面ではとても優れているのですが、データ基盤として見た場合、一つの遅延が多くの遅延につながるという問題がありました。その改善のため、タップルはクラウド型DWHにダブルライトする仕組みを 構築したのですが、その構築に問題があり、一部データはオンプレミス側にしか書き込まれていないという状態が続き、その改善が大きな課題になっていました」（杉山氏）

工数削減とサイロ化解消にSnowflake on AWSを採用

スピードをなにより重視するカルチャーが定着するサイバーエージェントにとって、データ更新の遅延やサイロ化によるデータ分析手順の煩雑化は見落とせない問題だ。その改善が急務の課題となる中、IUDSCが注目したのはSnowflake on AWSによるソリューションだった。CAM データエンジニアの野口 大介氏はこう説明する。

「Snowflakeの名前は、かなり早い段階からTwitterで得た情報などから注目していました。当初は個人的な関心に過ぎなかったのですが、データ運用の改善に組織的に取り組む機運が高まったことが再注目につながりました。特に当社にとっては、データマート細分化を不要にする、ウェアハウスサイズと利用時間で決まるSnowflakeの料金体系は大きな魅力でした」

また、当初既存で利用していたクラウド型DWHへの集約化を検討していたタップルにとってもSnowflake on AWSは魅力的だった。タップル VPoEの髙橋 優介氏はこう振り返る。

「サービスの種類が限られていることもあり、現時点ではCAMのような問題は生じていませんが、今後事業が拡大すると同様の課題が生じるのではないかという懸念があったことが第一の理由です。また前任者から引き継いだサイロ化という課題解決にIUDSCとして取り組めることも魅力でした」

Snowflake on AWSのメリットはそれだけではない。以前からビジネス側がアマゾン ウェブ サービス（以下、AWS）をデータ基盤として利用していた関係上、これまで同社は生データをいったんAmazon Simple Storage Service (以下、Amazon S3) に蓄積し、クラウド型DWHとオンプレミスにダブルライトするという手順を踏んでいた。移行により、すべてのプロセスがAWS環境で完結できることも魅力の一つだったという。

スムーズなデータ移行で管理工数の大幅削減を達成

2022年5月から行われたSnowflake on AWSへのデータ移行はスムーズに進み、わずか6カ月間で完了した。

「Snowflakeの担当者は『簡単ですよ』と言ってくださっていたのですが、こちらとしては『そんなはずないよね』というのが正直なところでした。でも実際に行ってみると、本当に簡単でした。CAMの場合、現在のシステムの関係上、一度全データを他社クラウドストレージに集約する必要がありましたが、Snowflake on AWSへの移行作業はまったく問題なくスムーズに 進みました」（杉山氏）

現在CAMはコンテンツの約6割については、Snowflake on AWSによるデータ分析に移行。タップルは現在検証を行っている段階という。

「タップルの場合、データ基盤のサイロ化と共に、さまざまな場所に散らばる元データの効率的な集約も課題の一つでした。SnowflakeのSTAGEとSnowpipeという2つの機能は、必要なデータがパン屑のように至るところに散らばっている中、必要 なデータを確実に吸い上げる環境の構築に大きな役割を果たしています」（杉山氏）

CAM側のメリットは大きく三つの観点があげられる。一つは大きな課題だったバッチ処理の安定化だ。

「これは既存のクラウド型DWHではなくバッチ処理の仕組みの問題になりますが、以前は少なく見積もっても週2、3回はトラブルが発生し、その都度野口をはじめとするエンジニアによる対応が必要になっていました。マネージャーとしては当然、本来業務に集中してもらいたいわけですから、管理工数の大幅削減は大きな意味を持つと考えています」（杉山氏）

次が利用時間を前提とした料金体系により、データマート自体の見直しが可能になった点だ。

「これまでは、どうすればスキャンデータが小さくなるかという点をまず考えてデータマートを設計してきましたが、移行に合わせ、どうすればビジネス 上でより使いやすくなるかという観点でテーブル設計の見直しを行っています。これはSnowflakeに移行しなければできなかったことだと思います」（野口氏）

また個人情報管理により厳密さが求められる中、ロール管理がスムーズに行えるようになったこともメリットの一つだ。

「CAMが提供するサービスが多様であることからデータにアクセスするユーザーも多く、そのロール管理は以前から大きな課題になっていました。以前はTableauを利用するユーザーが多かったのですが、Snowflakeの場合、無償で提供されるSnowsightの利用が可能です。当社の場合、全員にSnowsightを配付し一元的なロール管理を実現しています」（野口氏）

Snowsightを基盤としたデータ民主化の取り組みを推進

今後の第一の課題として杉山氏が掲げるのは、Snowsightを基盤としたデータ民主化の推進だ。CAMの場合、野口氏を講師役にビジネス側スタッフを対象としたSnowsightを前提にしたクエリ構築・実行講座を開講し大きな成果を挙げているという。

「Tableauを使い慣れた方からはSnowsightの機能面の制約を指摘されることも多いのですが、機能が限られていることは初心者の使いやすさにもつながっていると感じています」（野口氏）

「タップルの場合、これまではビジネス側がBIチームに分析を依頼するという形でデータ利活用が行われていましたが、それは待ち時間や本来の狙いと分析の方向性のズレなどの問題につながっていました。より多くの人がデータに安全にアクセスできる環境の実現は、DXの観点からも大きな意味を持つと考えています」（髙橋氏）

今後同社は、Snowflakeが提供するSnowflakeマーケットプレイスの活用にも注目している。

「データ分析やAI機械学習のヒントになるのは、社内のデータだけではありません。気象データが実店舗の売上予測に果たす役割はその分かりやすい例ですが、それ以外にも、さまざまなデータがヒントになるはずです。社外の多様なデータにスムーズにアクセスできるSnowflakeマーケットプレイスは今後のデータ活用の進化に大きな役割を果たすのではないでしょうか」（杉山氏）

[PR]提供：Snowflake