Data + AI World Tour Tokyo

講演サマリー

長い間データと AI の活用の障壁となっていた複雑さを、レイクハウスアーキテクチャと生成 AI の統合が解決します。導入・運用をシンプルにするだけでなく、AI とデータの連携を強化。ささまざまなソースからの膨大なデータをフルに活用して分析を行い、有用な情報を生成し、創造的思考を支援し、業務効率を高めます。

Databricks のリーダーが、Databricks のデータ・インテリジェンス・プラットフォームを活用した AI、データウェアハウジング、分析について解説します。さらに、ゲストのデータリーダーが、データと AI の相互接続性、未選別のデータから良いモデルを作成する方法を深掘りします。

講演サマリー

アクサ生命保険は2014 年から、AWS Glue、SageMaker、Redshift などのサービスを活用したデータ基盤を運用してきましたが、2019年から機械学習部分をDatabricks に移行し、現在はデータ処理部分の移行も進めています。 アクサ生命保険では基幹システムからデータレイクへのデータ転送にはAWS DMS を使用し、変更ログレベルでデータのレプリケーションを行っています。しかし、変更ログのように日々増加する時系列データを処理するため、データ処理コストが線形に増大するという課題に直面していました。 そこでデータ処理部分の移行に際し、DatabricksのDLT、Delta Lake、Photon を活用することで、データ処理コストを7割削減することに成功しました。

本セッションでは、このコスト削減を実現した技術的なアプローチについて解説いただきます。特に、時系列データを扱うプロジェクトにおいて有益な内容となっています。