データの分析結果に基づいて経営戦略の意思決定を行うデータドリブン経営を実現するために「データレイク」と「データウェアハウス」のニーズが高まっています。それらの両方をクラウドネイティブのデータプラットフォームとして提供するのが「Snowflake 」です。Snowflakeの特長や導入企業にもたらす価値について、同社プロダクトマーケティングマネージャーのKT氏に話を聞きました。
データの一元化とアクセス負荷のどちらの課題も解消
データレイクとデータウェアハウスのどちらのニーズにも対応し、クラウドネイティブのデータプラットフォームとして急速に成長を遂げた新進気鋭のサービスがあります。それが、2012年に創業し、2014年にサービス提供を開始した「Snowflake」です。企業のデータ分析・活用プロセスをシンプルにするデータプラットフォームとして登場したSnowflakeは、自在にスケール可能かつ処理性能に優れた“データクラウド”でシステムごとに分断化されたデータを集約し、一元的に管理して分析・活用できるデータマネージメントソリューションです。
Snowflakeがここまで注目されるようになったのはなぜでしょうか。その理由として「多くの企業がサイロ化されたデータの扱いに困るようになったから」だと話すのは、Snowflakeの日本法人でプロダクトマーケティングマネージャーを務めるKT氏です。利便性の高いさまざまなクラウドサービスが業務に利用されるようになった現在、データプラットフォームには粒度の細かい精緻なデータを確実に保管するという要件が求められるようになりました。ただしKT氏は以下のように指摘します。
「複数のデータソースから収集したデータを総合的に俯瞰・分析するには、データを統合的に扱えるように変換しなければなりません。また、データを活用する業務部門やユーザーが増えれば増えるほどデータアクセスに負荷がかかり、それに耐えきれずにデータウェアハウスやデータマートを別に構築するといった無駄も発生するようになりました」(KT氏)
このような課題を解決するために、パブリッククラウド事業者が提供するデータプラットフォームサービスを利用する動きがあります。しかしここにも課題があるとKT氏は指摘します。
「単一のクラウド事業者が提供するサービスを利用すると、今度はクラウド事業者にベンダーロックインするという新たな課題が出てきます。ベンダーが固定されてしまうことで、利用できるプロダクトが限定され柔軟な選択ができなくなってしまいます。こうした課題を解決するために生まれたのが、Snowflakeというサービスなのです」(KT氏)
他製品と容易に接続。データサイエンスの基盤としても活躍
こうした背景から生まれたSnowflakeには、どのような特長があるのでしょうか。まず挙げられるのが、クラウドのメリットを最大限に生かす独自のアーキテクチャです。
「Snowflakeのアーキテクチャは、コンピュートノードとデータストレージを完全に分離した設計になっています。これにより、どんなにデータ量やユーザー数が増えたり突発的なアクセスが発生したりしても、パフォーマンスに影響を及ぼすことがありません」(KT氏)
このほかオンプレミス/クラウドを問わずあらゆる製品・サービスに対応する多種多様なコネクタを用意し、他の環境と容易に接続できる柔軟性を備えていることも大きな特長です。さらに、Amazon Web Service(AWS)、Microsoft Azure、Google Cloud Platformなどあらゆるパブリッククラウドで稼働し、クラウド間連携やマルチクラウド構成が容易という特長もあります。
「Snowflakeは中立的なポジショニングにあるため、他の製品・サービスと接続可能なコネクタやアダプタがサードパーティ製品も含めて豊富に用意されています。たとえば、ビジュアル分析プラットフォームとして広く利用されている『Tableau』との相性は抜群で、Snowflakeに集約・蓄積したデータをTableauで分析・ビジュアル化するという使い方は非常に多くあります。また、AWSの機械学習サービス『Amazon SageMaker』やエンタープライズAIプラットフォーム『DataRobot』などと組み合わせた実践的なデータサイエンス領域でも、Snowflakeが活用されています。データプラットフォームにSnowflakeを採用することで、いずれのサービスからも大量のデータを高速に処理できるというメリットが得られます」(KT氏)
柔軟にスケールできるクラウドネイティブなアーキテクチャ
こうしたSnowflakeの特長は、従来のデータウェアハウスとの大きな差別化ポイントだとKT氏は言います。
一般的なデータウェアハウスは、コンピュートノードがアクセスできるデータストレージをあらかじめ確定しておく必要があり、巨大なリソースを用意したとしてもデータ量がそのリソースの限界を超えると処理は困難になります。また、高負荷な計算(データサイエンスなど)処理のワークロードを同時に処理することもできません。ハードウェアの大容量化・低価格化がどんなに進んでも、リソース配分のような運用管理負荷から逃れられません。これに対してKT氏は以下のように強調します。
「Snowflakeならば、活用できるリソースに制限がないため、”実現したいこと“をベースにデータを利用することができます。将来のデータ量増加を見越したストレージ設計もデータプラットフォームの運用管理も、すべてSnowflakeに任せることが可能です」(KT氏)
またデータウェアハウスといえば、クラウドデータウェアハウスとして広く利用されている大手パブリッククラウド事業者のサービスを思い浮かべる方もいるかもしれません。それらとSnowflakeにはどのような違いがあるのでしょうか。
「クラウド上で構築されたサービスは、その多くが潤沢なクラウドリソース上に構築された第一世代のクラウドデータウェアハウスです。どれもクラウド上にデータウェアハウスが構築できることを証明した素晴らしいサービスですが、アーキテクチャは基本的にオンプレミス時代のままです。これに対しSnowflakeは、まさにクラウドネイティブでつくられたまったく新しい仕組みのサービスです。ログ・テキスト・動画・音声など半構造化データ/非構造化データにも標準対応しており、データウェアハウスの領域を超え、データレイクとしても扱えます」(KT氏)
今後求められる「使いながら改善を繰り返せるデータプラットフォーム」
Snowflakeは登場してから現在までに、金融、医療、小売、広告など全世界の幅広い業種業界の企業に導入されています。日本市場では2017年に日本語版をローンチしてから本格的なビジネス展開が始まり、2019年には日本法人の設立も果たしています。KT氏によると、すでに豊富な国内の導入事例があるといいます。
「たとえば、市場調査・マーケティングリサーチ事業を展開するインテージでは、顧客向けに提供するパネルデータ提供・分析システムにSnowflakeを採用しました。Snowflakeを導入したことで、データ量に応じて自在にスケールしながら顧客ニーズに応じた多角的な分析を高速に実行できるデータマネージメントプラットフォームを構築できました。また、気象情報企業のウェザーニューズでは、顧客企業がマーケティング戦略や需要予測、商品開発に活用できる過去の高精度な気象データをSnowflakeで管理するとともに、Snowflakeデータマーケットプレイスを通じて販売しています」(KT氏)
このような導入事例は他にもたくさんありますが、いずれの企業も「構築期間をできる限り短くして素早く使い始められること」「データマネージメントプラットフォームにかかるコストを大幅に縮減できること」を導入効果として挙げているといいます。
「データドリブン経営を実現するデータプラットフォームに完成形はありません。従来のデータウェアハウスのように入念に設計・開発してからリリースするという概念は捨て、これからは未完成形のまま使い始め、使いながら改善を繰り返せるデータプラットフォームを選択すべきだと考えています。そうしたデータプラットフォームソリューションと言えるのが、Snowflakeのデータクラウドなのです」(KT氏)
さらにKT氏は、データレイクとデータウェアハウスの在り方について、このように話しています。
「現在はデータレイクやデータウェアハウスといった名前で括られていますが、『データを集め、やりたいことを実現できるようにしておくこと』が本質であり、一番重要なポイントです。その観点から考えるとSnowflakeは、集めたデータで『やりたいことがなんでも実現する世界』であり、データレイクでもデータウェアハウスでもなく、どちらのメリットも包括したプロダクトと言えるのではないでしょうか」(KT氏)
[PR]提供:Snowflake