三菱UFJフィナンシャル・グループ(MUFG)は、Snowflakeを活用したグループ横断のデータ共有基盤「MUFG Marketplace」を構築した。三菱UFJインフォメーションテクノロジー 情報本部 データエンジニアリング第二部 プリンシパルエンジニアの落合一樹氏が9月に開催されたイベント「Snowflake World Tour Tokyo」で、同基盤を構築した背景やアーキテクチャ、顧客の同意情報に基づくアクセス制御など、設計・運用上の工夫を紹介した。

  • 三菱UFJインフォメーションテクノロジー 情報本部 データエンジニアリング第二部 プリンシパルエンジニア 落合一樹氏

    三菱UFJインフォメーションテクノロジー 情報本部 データエンジニアリング第二部 プリンシパルエンジニア 落合一樹氏

グループ横断のデータ共有で直面した課題

MUFGでは、グループ横断で提供するサービスが増えるにつれ、グループ各社の間でデータをやり取りする機会も増加していた。しかし、従来のデータ連携方式では、接続先の増加に伴うコストや運用負荷が課題となっていた。

これまでは、専用線やゲートウェイを用意してデータを授受してきたが、持株会社や銀行が利用するゲートウェイにはさまざまな制約があり、新たな接続先に対応するために専用線を敷設することは容易ではなかった。

そこでMUFGが目指したのが、グループ各社がデータをやり取りするための「交換所」に相当する仕組みだ。共通のデータ交換基盤を用意することで、接続先が増えても既存の構成への影響を抑え、柔軟にデータを共有できる環境を目指した。

データ交換の仕組みは、Amazon S3などのオブジェクトストレージを利用して実現することも可能だ。しかし、S3を利用する場合、共有先ごとのアクセス権限やバケットの管理が必要になる。共有先や設定のパターンが増えれば、その分だけ管理も複雑になる。

MUFGでは、接続先の増加に柔軟に対応できることに加え、権限管理やリソースの制約をできるだけ意識せずに運用できることを重視し、Snowflakeを活用した共通基盤の構築を進めた。

データ共有基盤「MUFG Marketplace」を構築、各社のアクセスを分離

MUFGが構築した「MUFG Marketplace」は、グループ各社が共通の仕組みを通じてデータを共有するための基盤だ。

AWSの東京リージョン上に構築されており、各社は自社に割り当てられたSnowflakeのアカウントを通じて利用する。各社がアクセスできるのは、自社のアカウントに割り当てられたリソースに限定される。

  • グループ各社のデータ共有を実現する「MUFG Marketplace」のシステム全体構成

    グループ各社のデータ共有を実現する「MUFG Marketplace」のシステム全体構成

Snowflakeをすでに利用している企業とは、Snowflakeのアカウント間でデータを共有する仕組みを利用する。一方、オンプレミス環境を利用する企業についても、AWS上のEC2などを介して接続する構成が紹介された。

また、Snowflakeとの契約は持株会社が担い、グループ各社は持株会社との契約を通じて基盤を利用する形とした。これにより、各社が個別にSnowflakeとの契約を進める必要がなく、事務手続きの面でもメリットがあったという。

MUFG Marketplaceでは、持株会社が共通基盤を提供することで、テーブル名やスキーマなどについて標準構成を用意し、各社が共通の仕様に基づいて利用できるようにした。落合氏によると、標準構成を用意できたことは、基盤の構築を進める上でもメリットがあったという。

一方、各社が保有するデータの項目や形式までは統一していない。例えば、日付の持ち方などは会社によって異なるが、基本的には各社が保有するデータをそのまま扱う方針とした。

こうした構成を採用する中で、苦労したのが各社間のデータ共有に向けた調整だ。どの会社がどのようなデータを保有しているのかを把握し、データを提供する側と利用する側の橋渡しを行う必要があったという。

共通の仕組みを用意しながらも、業務テーブルの作成やネットワークポリシーの設定などは各社が担当することで、一定の自由度を確保している。

顧客の同意情報と組み合わせ、共有できるデータを制御

金融グループのデータ連携では、単に各社がデータにアクセスできるようにするだけでは不十分だ。特に重要になるのが、顧客の同意に基づいたデータ共有の制御である。

MUFGでは、連携先に共有するデータを、顧客が同意した範囲に限定する必要があった。そこで、顧客の同意情報と共有対象のデータを結合した「制御ビュー」を用意し、共有先はこのビューを経由してデータを取得する仕組みとした。

同意情報にはグループ全体で利用するIDを組み合わせ、顧客の同意状況に応じて取得できるデータを絞り込む。

これにより、データを共有する際に、連携先が取得できる情報を制御できるようにした。

  • 顧客の同意情報に基づいて共有対象のデータを制御する仕組み

    顧客の同意情報に基づいて共有対象のデータを制御する仕組み

また、データ連携の状況を正確に把握するため、ステータス管理テーブルも用意した。共有対象のデータが0件の場合、テーブルを参照するだけでは、データの登録が完了しているのか、未登録なのかを判断できないという課題があった。

そこで、データの登録状況を専用のテーブルに記録し、連携先が確認できる仕組みとした。管理の手順は増えるものの、データ連携を確実に行うために必要な対応だという。

Streamlitで運用管理アプリを開発、各社に配布

データ連携基盤の運用・保守を効率化するため、MUFGではSnowflakeのStreamlitとNative App Frameworkを組み合わせた管理アプリケーションも開発した。

データ連携のステータスや履歴を確認する際、運用担当者が直接テーブルを参照する方法では、操作が煩雑になりやすい。

そこで、必要な情報を検索・参照できるStreamlitアプリを用意し、運用担当者が検索ボタンなどの操作で連携状況を確認できるようにした。

アプリはSnowflakeのNative App Frameworkを利用して各社のアカウントに配布する構成とした。SnowflakeのNative App Frameworkを利用することで、開発したアプリを各社のアカウントに容易に配布できたという。

さらに、データ連携時にはウイルスチェックを実施するなど、外部環境を利用することを踏まえた対策も講じている。

Notebookを活用して性能を検証、Gen2の優位性を評価

基盤の構築に当たっては、Snowflakeのウェアハウスの性能とコストについても検証した。

MUFGでは、各社が利用する際の基礎的な性能値を把握するとともに、ウェアハウスの適切な構成を検討する必要があった。

検証では、Snowflake Notebookを活用し、オブジェクトの作成、検証用データの生成、SQLの実行などを行った。さらに、検証用アカウントを利用することで、処理の自動化や並列実行を可能にした。

検証結果の整理や評価には、AIを活用する取り組みも紹介された。

Gen1とGen2のウェアハウスを比較した結果、Gen2はGen1より平均約1.4倍高速だった。コストには1.35倍の差があるものの、処理性能を考慮するとGen2が優位と判断した。この結果を踏まえ、通常運用ではウェアハウスのサイズをXS、世代をGen2、クラスター数を1とする構成を採用した。

単純な利用コストだけでなく、処理性能を含めた観点から構成を選択することが重要になる。

  • SnowflakeのGen1とGen2のウェアハウスを比較した性能検証の結果

    SnowflakeのGen1とGen2のウェアハウスを比較した性能検証の結果

データ連携基盤から、グループ全体のデータ利活用基盤へ

MUFGは今後の取り組みとして、SnowflakeのReshare機能の活用も検討している。

現在、顧客の同意情報に基づくデータ共有の制御は、グループ会社のアカウント内で実施している。今後はReshareを活用し、こうした制御を組織アカウントに集約することを検討している。

具体的には、組織アカウントで業務データと顧客の同意情報を組み合わせ、共有可能なデータを制御したビューを作成する。そのビューのみを他のグループ会社や銀行などに共有する構成を想定している。

これにより、各社のアカウントで個別に実施していた同意情報に基づく制御を集約し、データ共有の仕組みを簡素化することを目指す。

  • Reshareを活用し、顧客同意に基づくデータ制御を組織アカウントに集約する構想

    Reshareを活用し、顧客同意に基づくデータ制御を組織アカウントに集約する構想