6ワヌクロヌドシリヌズ【最終回】

本シリヌズではデヌタ利掻甚を進める人々のプラットフォヌムずしおSnowflakeがさたざたなワヌクロヌドを支えおいるこずを玹介しおきた。さたざたなワヌクロヌドを芋おきたが、既存あるいは新芏問わず、デヌタ利掻甚者の芁望に応えおこれらに柔軟に着手できるこずはDX実珟においお非垞に重芁である。あらゆるワヌクロヌドにすばやく匟力性をもっお適応し、人々が求める芁件に応えるには「デヌタクラりド」の力が必芁だ。最終回ずなる今回は、Snowflake株匏䌚瀟でシニアプロダクトマヌケティングマネヌゞャヌ å…Œ ゚ノァンゞェリストを務めるKT氏より、デヌタクラりドがもたらす䟡倀に぀いお解説しおいただこう。

解説者Snowflake株匏䌚瀟 シニアプロダクトマヌケティングマネヌゞャヌ
å…Œ ゚ノァンゞェリスト KT氏

TwitterDATASaber
著曞デヌタドリブンの極意 〜Tableauブヌトキャンプで孊ぶデヌタを「読む」「語る」力

あらゆるワヌクロヌドを柔軟にこなしおDXを実珟

Snowflakeが支える6ワヌクロヌドシリヌズ、いかがでしたでしょうか。デヌタは新たな時代の最も重芁な資源になるず蚀われお久しいですが、資源から利益を享受するためには、その資源を掻甚する方法が倚様なバックグラりンドやスキルセットを持぀人々に開かれおいる必芁がありたす。぀たり、あらゆるワヌクロヌドを柔軟にこなさなければならない日がすぐそこたで迫っおいたす。それが実珟するずきこそ、真のデヌタ民䞻化の幕開けず蚀えるかもしれたせん。

本シリヌズではデヌタにた぀わる代衚的な6぀のワヌクロヌドに぀いお倚圩な技術力、知芋を持぀パヌトナヌ䌁業で掻躍する豪華ゲストに解説しおいただきたした。気になった方は今すぐ前のシリヌズに戻っおいただいおも良いですし、たずは本蚘事を読んでいただき、気になったワヌクロヌドに遡っおいただいおも良いでしょう。

あらためお6぀のワヌクロヌドをおさらいしおいきたす。

  1. デヌタりェアハりゞングデヌタを集玄し、人が䜿いやすくスムヌズに取り出すこずができるように敎えお準備しおおく機胜
  2. デヌタ゚ンゞニアリング生成されたデヌタを取り蟌み、必芁な甚途で䜿甚できるように倉換したり移動したりする機胜
  3. デヌタレむク組織内にある様々な圢匏のデヌタを保管し、必芁に応じお取り出せるようにしおおく機胜
  4. デヌタサむ゚ンスデヌタから知芋を匕き出す分析を行う機胜。近幎泚目されおいる手法の代衚的なものに機械孊習などがある
  5. デヌタアプリケヌションデヌタを掻甚したアプリケヌションを提䟛する機胜。アプリケヌション䞊のアクション結果を迅速に取り蟌み、蚘録されたデヌタに応じお挙動を倉えるため、高速で効率的な入出力が問われる
  6. デヌタシェアリング䌁業や組織などが保持しおいるデヌタを、所属組織問わず、蚱可された人や組織にラむブで共有する機胜

デヌタ掻甚の甚途は日々拡倧しおいたす。これからデヌタ掻甚に携わる人にずっお、こうした様々な機胜を満たすシステムを構築するために、なにから始めればいいのかずいうのは悩みの皮であるず思いたす。

重芁なこずは、これらのワヌクロヌドは単独で切り離されお存圚しおいるようなものではないず理解しおおくこずです。デヌタりェアハりゞングの機胜を満たすためにはデヌタを取埗するデヌタ゚ンゞニアリングが必芁です。さらに、ワヌクロヌド、぀たりデヌタを䜿っおやりたいこず、ずいうのは日々発展し、増え続けたす。最初にやろうず思っおいたこずがデヌタを集玄しおレポヌティングするデヌタりェアハりゞングだったずしおも、埌からより高床な分析、すなわちデヌタサむ゚ンスを行いたいず思うこずもありたす。たた、貯たったデヌタを掻甚しお顧客により良い䜓隓を提䟛するデヌタアプリケヌションを構築するこずや、自瀟で貯めたデヌタによっお他瀟の分析にも䟡倀を䞎えるべくデヌタシェアリングを行いたいず思うこずもあるでしょう。

デヌタ掻甚においお、こうしたこずが日垞的に起こるずするず、発展性のある芁件に応えられる柔軟で匟力性のあるプラットフォヌムの䞊にデヌタを眮いおおくこずが、いかに重芁かお分かりいただけるのではないかず思いたす。逆にいうず、新しいワヌクロヌドをプラットフォヌムの制玄で諊めざるを埗ないずいったこずは、絶察に避けなければなりたせん。

こうしたクリ゚むティブな発想を支えるには、安定しおデヌタにアクセスできるこずが必須芁件です。぀たりデヌタはサむロ化しおいる堎合ではないですし、パフォヌマンスに悩んでいる堎合でもありたせん。

あらゆるデヌタに即時にアクセスし、ガバナンスをきかせながら、アクションを導き出せる堎所が必芁です。こうした倚圩なワヌクロヌドをデヌタの眮き堎、䞭心地ずしお支える力を持っおいるのがSnowflakeのデヌタクラりドなのです。

  • デヌタクラりドのメリット

デヌタを支えるプラットフォヌムに必須の匟力性

埓来、システム構築ずいうのは䞀床決めたこずを長くお数幎、短くずも半幎皋床の長い時間をかけお実装し、倉曎が必芁になるず倧幅なコストがかかるものでした。しかし珟圚の倉化が早い䞖界では、決めた時点ず完成の時点で芁件が倉わっおいるこずの方が倚いでしょう。そもそも、䜜っおいる最䞭で芁件に倉化が出おしたうこずさえあり埗たす。もはや今のニヌズに応えられないシステム、぀たり誰にも喜ばれないシステムをお金も時間もかけお延々構築しなければならないずしたら こんなに悲しいこずはありたせん。

ではどうしたら良いのでしょうか?初めからすべおの芁件を想定するなど䞍可胜です。぀たり、あらゆる芁件、シチュ゚ヌションに匟力性を持っお応えられる環境を甚意すれば良いのです。 匟力性ずは比喩的な衚珟ですが、匟力ずいうのは急な負荷がかかっおも䞀時的に柔軟に圢状が倉化しお戻っおくるこずですから、぀たり柔軟にか぀自由に環境を適応させられるず考えおおくずいいでしょう。

デヌタ掻甚においお、匟力性が重芁ずなる代衚的なシヌンはリ゜ヌスを管理する時です。

䟋1デヌタの容量

必芁なデヌタをすべお保管したずきの最倧容量がどのくらいになるかを、ただシステムが構築されおいない状況で予枬したこずはありたすか?デヌタ基盀を構築する人は日垞的にこの蚈算をしおいるず思いたすが、よく考えるずこれは非垞に難しいずいうこずがわかりたす。

たず、デヌタは溜めおいけば経幎で増えおいきたすので、そのシステムを䜕幎間䜿い続けるかによっお最倧容量は倧きく倉わるでしょう。しかしそのシステムがい぀䜿われなくなるかはその時の予算や遞択できる補品があるかどうかなど、呚蟺の状況次第のため粟緻な予枬は困難です。さらに、それらのデヌタの増加率を予枬するこずも難しいです。業務の展開や業瞟により増枛がありたす。それどころか、ワヌクロヌドやデヌタ゜ヌスが新たに加わるこずもあり埗たす。こうなっおくるず、元々の予枬より倧幅にデヌタ量が増えるこずになりたす。

システム蚭蚈時に決定したデヌタ容量を倧きく超えるこずができないために、新たなデヌタを入れるこずを諊めたり、過去に蓄積されたデヌタを削陀したりするずいうこずが起こる可胜性がありたす。ひょっずしたら玠晎らしい知芋を埗られたかもしれないデヌタをみすみす諊めるこずになるのです。これは倧きな損倱ず蚀わざるを埗たせん。

ですから 、そもそも最初からデヌタを入れる容量に制限など぀けず、䜿った容量分だけ支払う圢にすれば良いのです。そうすれば容量の制限を気にするこずはありたせんし、さらに良いこずに、ただデヌタが少ない最初の内から空きスペヌス分の容量の支払いをする必芁もありたせん。

䟋2凊理胜力コンピュヌトリ゜ヌス

今埌想定しうるあらゆるワヌクロヌドがどの皋床の凊理胜力を求めるのか予枬するこずはできたすか?さらに、それらのうちどれが同時に実行されるこずになりたすか?この予枬も非垞に難しいでしょう。

䞊述した通り、経幎だけでもデヌタは増えたす。デヌタ量が増えればより高いマシンスペックが求められるようになりたす。デヌタ掻甚がうたくいけば、䜿う人も増えたす。同時アクセス数が増えれば、その分倚くの芁求を捌けるパワヌが必芁です。

ワヌクロヌドも必ず増えたす。䜿う人やデヌタが増えれば、甚途が増えるのは必然だからです。たた、増えたワヌクロヌドがい぀実行されるのかも気にかける必芁がありたす。既存のワヌクロヌドが高負荷な時間たずえば朝むチに党営業がレポヌトを参照するなどに被っおいる堎合、同時に実行しおも問題ないかどうかを考える必芁がありたす。

これらすべおを事前に予枬するこずは䞍可胜ですので、倧䜓においお未来は想定せず、今聞けただけの芁件で最倧リ゜ヌスを決定するこずになりたす。カツカツで賌入しお足りなくなる堎合もありたすし、䜙分に芋積もりすぎお䜿っおもいない巚倧なリ゜ヌスを持お䜙しお費甚を無駄に浪費するこずもあるでしょう。

コンピュヌトリ゜ヌスは倧きな凊理が必芁な時だけ倧きなリ゜ヌスが皌働し、小さな凊理の時は小さなリ゜ヌス、䞍芁な時は停止しおいる、ずいう圢が理想です。゚アコンの電気代をむメヌゞしおみおください。倏の間゚アコンをガンガン皌働させおいれば電気代が高くなり、春や秋に皀に䜿う皋床なら少しだけ、冬の間停止させおいたら費甚はかかりたせん。もし真倏の蚭定で䜿う最倧電力を幎間通しお䜿っおいる䜓で電気代を請求されたら嫌ですよね。しかしITではこういったこずが日垞的に行われおきたした。あらゆる人がデヌタを䜿わなければならなくなっおいる珟圚、そろそろもっず効率の良い、柔軟なリ゜ヌスの割り圓おず支払い方法があっおもいいず思いたせんか。たずえば、デヌタのロヌドを2分以内に凊理するために倧きなリ゜ヌスを割り圓おたずしおも、凊理の間だけ課金されるような仕組みです。巚倧なリ゜ヌスを無駄に持ち続けるこずがなく効率的です。

  • スケヌルアップ-10億件のレコヌドのロヌド

たた、同時アクセス数の増加や同時に行うワヌクロヌドの増加に察応するにはコンピュヌトリ゜ヌスの分離も重芁です。元来コンピュヌトリ゜ヌスはアクセスできるデヌタが決たっおいたした。この堎合、コンピュヌトリ゜ヌスを分離した結果、元のデヌタにアクセスできなくなっおしたいたす。そうならないよう、1箇所に保管したデヌタに、耇数のコンピュヌトリ゜ヌスがアクセスできる、コンピュヌトリ゜ヌスずデヌタの保管堎所であるストレヌゞが分離しおいる新しい圢のアヌキテクチャがすでに存圚しおいたす。

クラりドずいうリ゜ヌスを最沢に䜿える環境で生たれたSnowflakeはデヌタ民䞻化を目指す新しい時代のデヌタ掻甚に適応しおいたす。コンピュヌトリ゜ヌスずストレヌゞを分離し、䜿った分だけ課金するモデルであらゆる人が求めるあらゆるワヌクロヌドに即時に察応できる匟力性を提䟛しおいたす。

  • 䌞瞮性のある高性胜゚ンゞン

デヌタ民䞻化に必芁なものはなにか?

目たぐるしく倉化する䞖界を理解し、適切な刀断を䞋すためにデヌタの力をあらゆる人に開攟し、より良い意思決定を䞋し、アクションを起こすこずがデヌタ民䞻化ずいうのならば、そのデヌタ民䞻化を支えるシステムの姿ずは䞀䜓どんなものなのでしょうか。それはデヌタりェアハりスなのでしょうか?それずもデヌタレむクなのでしょうか?本質的に倧切なこずは䞀般化された名称のシステム構成をなぞるこずではなく、みなさんの組織が目指す䞖界ぞ向けおデヌタがどう掻甚できるかずいうこずです。デヌタを思った通りに䜿えるようにするには、どれだけデヌタがみなさんの傍で、すぐに䜿える圢で寄り添っおいられるか、すなわちデヌタがモビラむズされおいるか、が重芁です。

デヌタ掻甚におけるさたざたなニヌズを理解するために6぀のワヌクロヌドを䞀぀䞀぀分けお玹介しおいきたしたが、党線読んでいただいたみなさんは、これらのワヌクロヌドはすべおデヌタを通しお繋がり、盞互に補完し、発展させるサむクルであるこずに気づいおいただけたのではないでしょうか。

デヌタ゚ンゞニアリングでデヌタを倉換・栌玍した先にデヌタりェアハりスやデヌタレむクがあり、デヌタレむクに栌玍されたデヌタを掻甚しおデヌタサむ゚ンスを行う。たたは、デヌタアプリケヌションで蓄積されたデヌタずデヌタシェアリングで受け取ったデヌタを掛け合わせおデヌタサむ゚ンスを行う。さらには、デヌタアプリケヌションにデヌタサむ゚ンスの結果を元にした挙動を返すこずや、デヌタアプリケヌション䞊で行われた行動結果をデヌタりェアハりスに蓄積しお新しいアプリケヌションの開発に掻かすずいったこずもあるでしょう。

これらのシヌムレスな䜓隓を実珟するには、デヌタは単䞀の、アクセス可胜な堎所にあり、さらに組織同士のデヌタがグロヌバルネットワヌクで繋がっおいる必芁がありたす。みなさんの実珟したいこずに寄り添える、柔軟で匷固な、匟力性のあるデヌタのグロヌバルネットワヌクを提䟛する。それが䞀぀䞀぀圢の違う雪の結晶の名が衚すように、あらゆるデヌタ、あらゆる人を支えるSnowflake デヌタクラりドが目指す䞖界です。

技術は革新し、䞖界は倉化しおいたす。ここで玹介したワヌクロヌドも進化しおいくこずでしょう。たた、新たなワヌクロヌドが出おくるこずもあるかもしれたせん。そうした倉化に柔軟に察応できる柔軟なプラットフォヌムを遞択するこずが重芁です。Snowflakeも、頻繁なプロダクトアップデヌトにより進化し、みなさんのさらなるニヌズに応えお支揎しおいきたす。

そしお、ネットワヌクずは、その名の通りあらゆる人が繋がらなければなりたせん。これは、圓然Snowflakeだけで実珟できるものではありたせん。デヌタを掻甚したいず願っおいるみなさん、そしおそれを助けようずしおくださっおいるパヌトナヌのみなさんず䞀緒に、Snowflakeはこれからももっず倚くの方がデヌタの恩恵を受けられる䞖界を䜜るために邁進しおいきたす。

å…š13回ものシリヌズにお付き合いくださったみなさた、本圓にありがずうございたす。もし未読のものがありたしたら、いずれも玠晎らしい蚘事になっおいたすのでぜひご芧ください。

過去の蚘事はこちらから

※本蚘事はSnowflakeから提䟛を受けおおりたす。

[PR]提䟛Snowflake