大阪ガスは近年、データ分析やシステム開発といったデジタルの分野にも力を入れており、社外にもさまざまなサービスを提供している。その中核を担うのが同社のデータ分析組織であるビジネスアナリシスセンターだ。12月6日～7日に開催された「TECH+フォーラム クラウドインフラ Days 2023 Dec. クラウドネイティブへのシフト」に、大阪ガス DX企画部 ビジネスアナリシスセンター 副課長の國政秀太郎氏が登壇。クラウドネイティブへの取り組みとして高負荷データ分析基盤を構築する中で直面した課題とその対応を紹介し、必要となる仕組みづくりについて解説した。

組織横断型の高負荷データ分析基盤をクラウドで構築

講演冒頭で國政氏は、大阪ガスのクラウドネイティブへの取り組みの例として、組織横断型の高負荷データ分析基盤を構築したことを紹介した。これは主にIoTによって得られるビッグデータを秒単位、分単位といった高頻度で処理して機器を制御するような、負荷の高いデータの分析や処理を行うデータ基盤で、これを組織横断型で使えるプラットフォームとして構築したという。

従来は「あまりデータを活用していなかった」（國政氏）同社だが、現在は顧客に提供する10万台以上のIoT機器から得られる膨大なデータを活用し、データ分析をするプロジェクトの範囲を予知保全などの業務最適化や、意思決定の自動化などに拡大している。その中で直面した課題を解決するために、このデータ基盤をつくることになったそうだ。例えば、家庭用燃料電池の発電器なども含めたさまざまな発電所を1つの発電所として運用する仮想発電所では、高頻度に取得される膨大なデータをリアルタイムに制御する必要がある。そうなると、これまで使っていたオンプレミスのデータ基盤では対応できないのだ。

データ量が多いとData Ware House（DWH）がパンクする恐れがあるが、仮想発電所などを運用するにはデータを間引きするわけにはいかない。ユーザーがシステムからデータを直接ダウンロードしてローカルのPCで処理したり、別のシステムと連携させたりするなどの方法も考えられるが、どちらも通信が発生するため非効率となり、現実的な解決策にはならない。DWHシステムはすでに数百を超える基幹システムとつながっていたため、クラウドにリフトするのも難しい状況だった。

そこで同社では、既存システムをリフトするのではなく、データ基盤を新しくつくり直すことにした。従来のオンプレミス型のシステムを並行して動かしながら、新たなシステムをクラウドに構築したのだ。この新基盤では、外部システムにデータを取りに行くSaaSや高頻度に大量のデータを受け取れる共通WebAPIを使ってデータ連携を行い、分析サービスには負荷に応じて台数が増減できるシステムを利用している。

  • 高負荷データ分析基盤のイメージ図

クラウドネイティブにしても、チームのアウトプットはスケールアウトしない

「システムをクラウドネイティブにして終わりではない」と國政氏は力を込める。同社の場合、負荷に合わせてサーバを立てられる構成にしたため、システムはスケールアウトできた。しかし、チームのアウトプットはスケールアウトできていなかったのだ。新基盤の立ち上げ直後にはプロジェクト数が爆発的に増加したが、実現できたのはその3割程度だったという。クラウドなのでシステムはいくらでも立ち上げられるが、それを支える人材が問題だった。

「それならばエンジニアを増やせば良いかと思いましたが、それでは解決しませんでした」（國政氏）

ではなぜチームのアウトプットはスケールアウトしなかったのか。國政氏によればその原因は、開発の手を止めてしまう環境だったことと、プロジェクトマネジャーへ負荷が集中し、多様化に伴ってマネジメントコストが増大したことだ。その結果、プロジェクトのスピードが加速しなかったという。