製造・流通業の事例から学ぶ、データ分析の前にやるべきこと

「データは最終的な活用のところにばかり気を取られがちだが、それ以前の処理も重要」——。こう語るのは、データ処理に関連するサービスの提供・開発を手掛けるノーチラス・テクノロジーズ代表取締役社長目黒雄一氏。6月23-24日に開催されたTECH+ EXPO 2022 Summer for データ活用「データから導く次の一手」で、製造・流通業でのデータ活用促進に向けた支援を行ってきたさまざまな経験を踏まえて、データ分析のためにまずは押さえておくべきポイントについて、事例をもとに解説した。

データの準備の段階で考えなければならないこと

DXの流れやAI/IoTの本格的な実用化、2025年の崖に備えたレガシーシステムの見直しのなか、データ分析および活用に向けた取り組みが各社活発になってきている。しかし目黒氏は、「データ活用に向けた思いや考えはあっても、データの準備において悩む企業は多い」と指摘したうえで、準備の段階でつまづいてしまうポイントを次のようにあげる。

「まずは、どうやってデータを集めるか。特にAI/IoTではここが大きな課題となる。末端の機器やシステムからどのようにデータを送り、どうやって使える形にまで持っていくかというところでつまづいてしまう。その後、データをどこにどうやって貯めておくかということも課題。貯めたデータはそのまま置いておいても使えない。加工して使いやすい形にする必要がある。また、BIシステムや業務システムなどとどうやって連携するかも重要なポイント。これらの課題をすべて解決するには、全体のアーキテクチャについて考えていかなければならない」(目黒氏)

一般的な製造・流通業で考えてみると、工場、POS、物流、コールセンター、サービスマンの活動など、さまざまな過程でさまざまな形式のデータが発生する。これらを各現場のシステムで活用できるようにするためには、データ蓄積の段階からきちんと検討・準備しておく必要があるということだ。空調設備やエレベーターを扱う製造業を想定して具体的にモデル化してみると、データ活用基盤の全体像は下図のようなイメージとなる。

データ活用を考えるうえで重要なポイント

データ活用においては、とりあえずデータを貯めてみるというアプローチもあるが、目黒氏は「大半のデータがゴミになってしまうリスクがある。また、データを保持しつづけるのにはコストが掛かる。できるだけ目的に沿って必要なデータを残していく形にするのが望ましい」と、目的を明確に設定しておくことの重要性を説明する。

また、取り扱うデータ量が年々増大してきていることにも気をつける必要がある。データ構造が複雑化し、集まるデータの種類も増えるなか、データ処理の技術的な進化も起こっており、目黒氏は「データをうまく活かしきるためには、それなりの知識が求められるようになってきている」とも指摘した。

データ処理基盤構築の事例

続いて目黒氏は、ノーチラス・テクノロジーズによるデータ処理基盤構築の事例について紹介した。

1. 西鉄ストアの新会計システム

まずは、西鉄ストアの新会計システムで分散処理を導入した事例。同社では、新しいシステム・方式に対応するにあたって、追加業務機能による粒度の細かいデータ処理が必要になり、夜間に約13時間のバッチ処理を行なっていたという。そこで、ノーチラス・テクノロジーズが提供する分散処理環境用バッチアプリケーション開発フレームワーク「Asakusa Framework」を利用し、スクラッチでバッチ処理を高速化する仕組みを開発。バッチ処理に掛かる時間を8時間まで短縮した。

しかし、このシステムを運用していくなかで、多店舗展開する企業の買収などにより、データ容量が急激に増加。当初の想定を超えてバッチ処理に時間を要するようになってしまった。また、業務画面からデータを確認したい際にも、読み込みに時間が掛かってしまうという課題も生まれてきた。

そこで、過去データの削除および処理エンジンの変更を2018年に実施。当初はHadoopを導入していたというが、ノーチラス・テクノロジーズ開発のM³BPに変更したことで、5-6時間で処理が完了するようになったという。また、Asakusa Frameworkを用いていたことで、アプリケーションの変更なく移行することができた。

「データ活用するためのシステムを入れたらそれで終わりということはない。運用するなかでデータが増えたり減ったり、データ形式が変わったりとさまざまな問題が起きてくるため、あらかじめ対応は考えておいたほうがよい」(目黒氏)

2. アンデルセンサービスの原価計算システム

全国にベーカリーを展開するアンデルセングループのシステム開発・運用を担当するアンデルセンサービスの事例では、原価計算システムの効率化を行った。従来、原材料からの製品原価計算には、約4時間のバッチ処理が必要となるため週2回の実行が限界で、物価変動のスピード感に対応できないという課題を抱えていた。そこで、Hadoopを利用した分散処理の導入により、バッチ処理を20分に短縮。さらに、クラウド上に「原価計算見える化システム」を構築した。

同システムは、工場の品質管理システムおよび倉庫管理システム、生産管理システムをまとめて原価計算を行い、ブラウザ上で結果を見ることができるものだが、さらに原材料価格の変動による原価のシミュレーションを行えるようにもした。画面からデータを呼び出す際、検索・実行してもなかなか応答が返ってこない場合があるが、この事例では、製品原価の大福帳を作りきって、クエリが走るときには集計しかやらないと決めたことで、画面を開いた瞬間に結果のグラフが完成しているようなスピード感で利用することができているという。

「利用者の想定と用途が明らかで、そこに特化した仕組みをつくったことが功を奏した。目的を明確にしたうえで、データをどう準備するかが重要ということがわかる例」(目黒氏)

外部環境の変化によりデータ活用に関する課題が増え、正解がないなかで漠然とした悩みを抱えている企業も多いのではないだろうか。ノーチラス・テクノロジーズは、クラウド、分散処理、機械学習などデータ処理基盤に関する豊富なノウハウを持つ。今回紹介した事例以外にもさまざまな実績があるため、データ処理や活用において課題を持つ企業は、まず問い合わせてみてはいかがだろうか。