6ワークロード データシェアリング編【2】 ウェザーニューズ
さまざまなデータを集約し、どんなワークロードも求めればすぐにこなすことのできる柔軟性の高いプラットフォームがデータ利活用においては必須である。そうしてさまざまな役割を果たすプラットフォームには、結果さらにあらゆる種類のデータが結集することとなる。では集めたデータは自分の組織だけで活用されるべきだろうか?集めたデータが他の組織にも役立つ情報になるとしたら、その恩恵を労せずしてシェアするのがデータシェアリングである。データによる適切な意思決定からの利益向上に留まらず、データそのものを資金源とする大きなムーブメントが起ころうとしている。今回はその先駆けとなり日本初のデータプロバイダーとしてSnowflakeデータマーケットプレイスに高精細な気象データを展開しているウェザーニューズでモバイル・インターネット事業部 WxTech ビジネスリーダーとして活躍する井原 亮二氏に解説いただこう。
解説者:株式会社ウェザーニューズ Mobile/Internet 事業部 マーケティング&セールス
井原 亮二氏
1.はじめに
株式会社ウェザーニューズで WxTech®(ウェザーテック)という気象データビジネスをリードしている井原と申します。本記事では Snowflake のデータクラウドを活かしたデータシェアリングをテーマとしたお話をします。
我々は自社で保有する膨大な気象データにより生み出したサービスを各業態に向けて展開している民間気象会社になりますが、当社がデータシェアリングのサービスに踏み込んだ背景や、サービスの実現において何故 Snowflake プラットフォームを採用したのかについてお話しさせていただきます。
1-1.Snowflakeデータマーケットプレイス
ウェザーニューズは 2021 年 6 月 8 日より、Snowflakeデータマーケットプレイス に、日本企業で最初のデータプロバイダーとして、保有する高解像度気象データの展開を開始しました。
国内では前例の無い中でここでのデータ展開にソリューションを見出して早速取り組んだのには、当社の既存のデータ提供サービスにおいて、顧客からのデータ要望の変化と、この変化に伴ったいくつかの課題があったことが理由に挙げられます。 まずこのあたりの背景をお話するにあたり、当社の気象データサービスに触れてまいります。
1-2.WxTech®(ウェザーテック)
ウェザーニューズでは、2020 年 6 月より、WxTech®というサービスブランドを掲げて、気象データとテクノロジーをかけ合わせた気象データ提供・分析サービスを展開しています。 当社は今年(2021 年)で創業から 36 期目の企業であり、一貫して気象情報サービスを展開してきておりますが、もちろんこれまでにも気象データの提供サービスは、放送局や交通事業会社、流通企業などに向けて取り組んできておりました。 そうしたデータサービスを実施してきている中、改めて WxTech®ブランドを掲げて気象データの展開を開始したのには、理由があります。
1-2-1.気象の激甚化
昨今の大雨や台風では各地に大きな被害をもたらしています。 大雨による河川氾濫と家屋の浸水、猛烈な台風による屋根の倒壊や、倒木による電線断線での長時間の停電被害、大雪による車両の立ち往生など、生活者や企業に多くのダメージを与えるものも少なくありません。しかしながら現在の技術ではこうした被害を及ぼす荒天をコントロールして止めたり回避をすることができません。よって荒天時における被害を如何に軽減化することができるかの減災活動が求められます。
企業においては、物流の影響、店舗運営の判断、人員体制の見直しなど、計画や判断、コストを見改めて業務に臨む必要が生じます。その際になるべく予測精度が高く、地域解像度の高い天気予報に基づいて先の将来を見通して計画をする必要があり、気象データのニーズは急速に高まっています。
1-2-2.企業DX
テクノロジーの発展と併せ、昨今ビジネスが急速に変化するなか、多くの企業はできるだけクリアに予測可能な未来を描いて事業に臨む為、データ・オリエンテッドのビジネスに取り組まれています。 自社のデータを整えたうえデータウェアハウスを構築して、データサイエンティストの方々が、これらデータから生み出される新規事業や業務効率化など、自社の DX 成功に向けて取り組まれていることと思います。 そうした、いわば DX トレンドにおいても気象データのニーズが大きく高まっています。
自社の業務データの格納後、まず最初に外部から収集するデータとして、公共性が高く、自社のデータと相関のありそうな、気象データを選ばれる企業が多いです。 店舗の売上予測でも、エネルギーの需要予測でも、企業が未来に見通しを立てるために必要な要素として、こうした天気予報のデータが求められています。
1-2-3.気象データ
上述の通り、社会での気象データの需要向上にあわせて、ウェザーニューズでは、1〜5km メッシュの業界最高解像度かつ高精度な気象データを提供しています。気象データのラインナップは、過去データや天気予報、体感予報や各種指数など様々です。 過去天気データは企業の業務データと天気との相関を分析するために、予報データは分析結果を日々のビジネスに生かすためにご活用いただけます。また、一般向けサービス「ウェザーニュース」のユーザーから当社に届く 1 日 18 万件の天気報告を活用した体感予報や停電リスク予測など、オリジナルのコンテンツデータも揃えています。
WxTech®ではこれらデータを各社の課題解決において適宜ご案内をしており、サービスブランドの立ち上げからおよそ 1 年間で 100 社以上の企業にご導入いただきました。 こうした気象データを提供するのみでなく、各社のシステムにデータが適合して活用されなければ意味を成しませんので、お客様の要件に見合ったデータ提供ができるようクラウドエンジニアが毎日サービスをアップデートさせています。
2.データウェアハウス
WxTech®によるデータサービスにおいて、これまでは企業が業務分析に関する特定の目的をもっており、特定の地点、特定の期間のデータについて要望を受けるケースが多くありましたが、最近は特定の目的用途のみならず、何が起きた際にも迅速に企業内で気象データを取得して対応ができるように データウェアハウスに備えておきたいといった要望を多く受けるようになりました。
こうした要望に対して、クラウドキャリアによってはデータベースを共有することのできる仕組みもありましたが、顧客のクラウド環境要件の確認やデータの必要範囲の確認など、データ提供前の要件定義やエンジニアリングにおいてコストの要する状況にありました。 また別手法では顧客のクラウドストレージにウェザーニューズのデータを Parquet でアップロードして取得していただく方式もありますが、顧客のクラウド環境に対してウェザーニューズが書き込みのできる権限を付与していただき、外部からアクセスする為のパスを用意してもらうなど、簡単かつセキュアに対応のできるものではありませんでした。
そのような顧客要件の変化と、サービス提供の状況下において、私共は Snowflake と出会いました。
2-1.Snowflake メリット
Snowflake によるクラウドデータのハンドリングメリットや機能については、Snowflake の Web サイトや他の記事でも詳細が記載されていますので、ここでは当社がデータシェアリングする際において有意義に捉えている特徴にしぼりお話をします。
2-1-1.マルチクラウドキャリア
気象データをお求めになる顧客がどういったクラウドキャリアを採用している場合でも、Snowflake 上から共通の対応で気象データを展開することができます。従来のやり方では、都度顧客にクラウドキャリアを伺ったうえで対応方式の相談や、キャリア固有の条件に合わせたデータ提供の実施を行ってきましたが、Snowflake の活用によりデータ提供に際する、営業とエンジニアリングのコストを省力化したうえ、データ提供を 1 時間程で完了できるまでリードタイムを飛躍的に短くすることができます。
2-1-2.共通リポジトリ
我々は Snowflake 上にあるひとつのデータリポジトリについて、顧客の必要とするデータ内容(地点や期間など)を View として定義したうえ、この View の範囲のデータを顧客へシェアすることができます。もちろん View 定義する際のデータベースは共通であり、顧客ごとに必要データを用意して個別に転送する必要は一切なくなりました。我々は常に最新データを Snowflake と同期していますので、ここから顧客にデータ展開ができます。
2-1-3.セキュアなデータシェア
データシェアリングは Snowflake のプラットフォーム上で処理されます。 当社からの最新データのアップロードも Snowflake に対して、お客様が共有を受けたデータを取得するのも Snowflake のプラットフォームを介した操作になります。よって本記事で上述したような、データ転送の為に外部企業アカウントに権限付与する対応や、データ提供の為のセキュリティホールをお客様に用意をしていただく必要は無くなりました。
2-1-4.コストメリット
我々の提供データを Snowflake 経由でアクセスする為、お客様には当社からのデータ購入費以外に Snowflake の使用料がかかります。データ調達に際した追加の費用となりますと、当然ながらお客様からは難色の示される条件提示となりますが、Snowflake の料金は顧客のデータの使用方法に応じて驚くほど安価に抑えることができます。Snowflake の使用料金はデータ取得に要したクラウドコンピューティングのスペックと処理時間により決まります。多数のクエリを高速に短時間で処理するか、小数のクエリを時間をかけて取得するか、お客様のデータ取得要件に併せたコストでデータシェアリングによるデータアクセスが可能となります。
3.今後の期待
WxTech®サービスは、今後も Snowflake のサービス発展に併せて気象データの提供サービスをアップデートさせてゆきます。Snowflakeデータマーケットプレイス経由でのデータ契約についても、課金の方式についても今後の Snowflake の進化により、更にリードタイムを短縮したうえ、顧客要望に柔軟にデータシェアリングを実現することができると期待しています。 企業が DX 推進を成功できるかどうかは、いかにデータを整えてデータウェアハウスを構築できるか、そこから自由にデータを引き出せるか、データ分析や可視化などの業務に即座に活用できるか、にかかっています。 ウェザーニューズは、今後も Snowflake など最新のクラウドテクノロジーを駆使し、企業の DX 推進をサポートしていきます。
※本記事はSnowflake、株式会社ウェザーニューズから提供を受けております。
[PR]提供:Snowflake