データ基盤導入のポイントとは – 成功の鍵は“成果”

ビジネスへのデータドリブンなアプローチを目指す企業であれば、何らかのデータ基盤の導入を検討するのは当然の流れだ。しかし、導入にあたってはコスト面や費用対効果など、慎重に検討すべき要素が多く、意思決定が進まずに足踏みする企業も少なくない。こうした状況を打破するには、導入の目的を明確にし、適切な戦略を立てることが重要だ。

今回は、IT企業、金融企業、エンタメ企業と複数の業界でデータ活用に携わってきた吉村武氏に、データ基盤を導入するメリットや、導入のためのステップなどについて解説していただいた。

• 

データ基盤とは - 従来の課題とDWHの登場

そもそもデータを抽出して何かしらの分析をしたいという考えは、「データサイエンスが潮流となる以前、1980年代ごろから存在していた」と吉村氏は話す。主な分析対象は、企業経営に関わる数字だ。従来は基幹システムから必要なデータを抽出して処理していたが、これには2つ問題があったという。

1つは負荷の問題だ。基幹システム、つまり本番用のデータベースを参照してデータを抽出することで、データベースに大きな負荷がかかる場合がある。そのため、かつては支障が少ない夜間に抽出作業をするといったケースもあった。もう1つはサイロ化の問題だ。経営に関わる数字がある基幹システム以外に、業務系システムやその他のシステムなどさまざまなシステムが動作していた。当時はそれぞれのシステムを連携することも、非常にハードルが高いプロセスだったそうだ。

これらの課題を解消する存在として、1990年ごろに登場したのがDWH（Data Warehouse）というデータ基盤の概念である。これにより、負荷を気にせず、大量のデータを抽出することが可能になり、データ分析は大いに進歩した。

データ基盤導入のメリットとは

データ基盤を用いるメリットとして吉村氏が挙げたのは、先ほどの課題の裏返しとなるが、データを一元管理することで横断的なデータ分析が可能になる点と、予測モデルを少ない負荷と時間で作成できる点である。

異なる部署のさまざまなシステムにデータが散在していると、更新や管理が煩雑になるだけでなく、部署間の情報共有や全社的なデータ分析が難しくなる。経営戦略の策定に必要なデータの収集にも時間がかかるだろう。一元化によって、企業全体のデータ活用が進み、より高度なデータ分析が可能になるわけだ。

また、機械学習のモデルを作成する際には、大量のデータをモデルに学習させるプロセスが発生する。その処理には大きな負荷と時間がかかるため、「（データ基盤導入前は）容易に取り組むことができなかった」と吉村氏は言う。それがデータ基盤を用いることで、より少ない負荷・時間で取り組めるようになり、「フットワーク軽くできるようになった」そうだ。

データ基盤導入のためのステップ

以上のようなことを踏まえて考えると、企業がデータ活用を推進していくうえで、データ基盤の導入はもはや不可欠と言えるだろう。では実際、データ基盤を導入する際にはどのようなステップを踏めばよいのか。

導入目的の明確化

まず取り組むべきこととして吉村氏が挙げたのが、導入目的の明確化である。同氏が数年前にデータ基盤を導入した際は、「業務効率化」を目的に掲げたという。

「経営層からは『システム導入の成果は何なのか』を問われます。経営層が認める成果とは売上が伸びることか、コスト削減できることです。そこで私は後者を選択し、『Excelのバケツリレーで行っている作業をボタン1つでできるようになるので、業務効率化が行えますよ』とアピールしました」（吉村氏）

プロジェクト体制の構築

次に必要なのはプロジェクト体制の構築だ。吉村氏はこの段階ではプロジェクトマネージャーとエンジニアで構成する2～3名の体制を推奨する。プロジェクトマネージャーには積極的に他部署とコミュニケーションをとり、データ基盤導入を推進できる人物が求められる。この人物に必要なのは「技術のバディ」、つまり専門知識を持つエンジニアだと同氏は説明する。

「データ基盤を導入する際、さまざまなベンダーからシステムについての説明を受けることになります。その際、ありがちなのはどのシステムがふさわしいのかを選定できる能力がある人がおらず、ベンダーの言うことを鵜呑みにしてしまうというパターンです。結果として、基盤の導入がスムーズに進まず、プロジェクトが停滞してしまうこともあります。そのようなことにならないためにも、客観的に判断ができる技術のバディを見つけることが必要になるのです」（吉村氏）

ツール群の選定

データ基盤ツール群を選定する際、まずオンプレミスにするか、クラウドベースにするかを考える必要がある。吉村氏によると、現在はクラウドの安全性が高まったことやコスト面などから、オンプレミスを選択することは「ほぼない」そうだ。

クラウドベースを選択した場合のツール群の候補として同氏が挙げたのが、Google CloudのBigQuery、Amazon Redshift、Snowflake、Databricksの4種だ。ではこの中からどのように選定するのか。ポイントとなるのは「自社のクラウドと親和性の高いサービスを選ぶ」（吉村氏）ことだ。例えば、Google Cloud Platform（GCP）を使用していればBigQueryを、Amazon Web Services （AWS）であればAmazon RedshiftやSnowflakeといった具合である。Databricksの場合は、他の3つのサービスとは異なり、「データレイクハウス^※」という概念を採用しているという特長があるため、そこにメリットを見出す企業もある。

※データ分析基盤は、「データレイク層」「データウェアハウス層」「データマート層」という3つの層で構成される。データ分析の工程は大きく「データ収集」「加工」「可視化」の3つに分けられるが、各工程に関連するデータがそれぞれの層に格納される。データレイクハウスはデータレイクとデータウェアハウスの特徴を兼ね備え、準構造化データや非構造化データも扱ことができる。

導入後に気を付けるべき点とは

ツール群を選定し、データ基盤を導入したら、まず何を確認すべきなのか。吉村氏は自身の経験から、「数字の整合性がとれているかどうかを確認すべき」だとアドバイスする。元々システムの特徴などにより、データ基盤で取得する数字と基幹システムなどで取得する数字に差異が出るのはよくあることだ。しかし、数字が異なるというだけで、「データ基盤そのものへの信頼性が一気に下がってしまう」と同氏は指摘。「数字が違うことが問題なのではなく、なぜ数字が違うのか説明できないことが問題。違いを明確に説明する必要がある」と続けた。

また、データ基盤を運用するにあたり、「いきなり全てのデータを格納しようとすると失敗しやすい」そうだ。導入初期には少ないデータでスピード感をもって成果を出していく。その後、活用するデータの幅を広げ、最終的に全てのデータをデータ基盤に格納するほうがよりスムーズに分析や活用ができるという。

データ基盤導入を成功させるために必要なこととは

最後に吉村氏は、データ基盤の導入を成功させるポイントとして、スモールスタートで始め、ボトムアップとトップダウンを繰り返していくことを挙げた。導入初期は、データ分析や活用に対する温度感が比較的高い部署やメンバーでスピード感をもって取り組み、小さな成果を積み重ねていく。小さな成果は大きな声で経営層を含む社内へ積極的にアピールする。その声を聞いた新たな部署やメンバーでまた成果を積み重ね……ということを繰り返していると、やがて経営層がトップダウンでデータ分析や活用を推奨してくれる。トップダウンを受けた新たな部署やメンバーがまた成果を出し……というサイクルになれば、データ基盤の導入による成果はどんどんと広範囲に及んでいくというわけだ。

オンプレミスが主流の時代のデータ基盤であれば、導入に数千万円かかることも珍しくなく、大規模な投資となった。しかし、クラウドベースが主流の現在はデータ基盤の導入は小規模・少額から行えるため、スモールスタートがしやすい環境となっている。

「従量課金制のクラウドベースのデータ基盤であれば、数千円程度から試してみることも可能です。業務効率化や改善につながる数千円分の“成果”になるものを見つけ、『まずは試してみましょう』という提案ができるのです。そこから次は数万円、数十万円と少しずつ“成果”の規模を大きくし、実績を示していく方法が今の時代にはおすすめです」（吉村氏）

*　*　*

データ基盤を導入することで、企業はデータ活用を加速度的に進めることができる。一方で、明確な目標が立てられていなかったり、成果の見せ方が曖昧であったりすれば、せっかくのデータ基盤を活かすことなく、プロジェクトが頓挫してしまうこともある。吉村氏の話を参考に、自社に適したデータ基盤の円滑な導入を進めていただきたい。