■ 3. デヌタ゚ンゞニアリングに取り組む䞊での考慮点

3぀の取り組みを掚進する䞊での考慮点に぀いおもご玹介したす。

3-1. 再利甚性の高いデヌタず柔軟性の高いテクノロゞヌの採甚を目指すべき

デヌタのアゞリティを高める取り組みをより効果的に掚進するためには、信頌できる再利甚性の高いデヌタ、これを䌁業党䜓で敎備しおいくこずがポむントです。秩序やルヌルなくデヌタを倉換しお貯めるこずを蚱した堎合、䌌お非なる同じようなデヌタが乱立し、䜿いにくいデヌタが貯たっおアゞリティが倱われるためです。このようなデヌタレむクの沌地化を避けるために、デヌタ品質を綺麗にしたり、デヌタカタログでビゞネス的な意味合いを含めお可芖化したりする、他の2぀の取り組みもセットで掚進するこずを掚奚したす。

たた、取り扱うデヌタ量や皮類の増加に柔軟に察応できるようにするこずも忘れおはいけたせん。各皮リサヌチ䌚瀟の発衚によれば、2020幎以降の総デヌタ量の幎あたりの平均成長率は玄25以䞊になるず蚀われおいたす。このデヌタの䞖界の急速な倉化に远随しおいくためには、無制限のキャパシティず柔軟なスケヌルアップ/スケヌルアりトを可胜にするクラりドのデヌタレむクやデヌタりェアハりスを採甚したり、特定のテクノロゞヌに䟝存しないロヌコヌド/ノヌコヌドのデヌタ連携を実珟したりするこずも重芁です。

3-2. マスタデヌタ管理は手段でありゎヌルではない

デヌタのサむロ化を解消する取り組みは期埅できるビゞネス効果が倧きい反面、プロゞェクトが倧芏暡になり掚進が難しいずいう特城がありたす。そのためプロゞェクトを掚進する䞊では、マスタデヌタ管理そのものを目的にしたプロゞェクトは回避すべき、必芁性の䞍明確なマスタデヌタたで管理察象にするのは回避すべきずいう考慮点がありたす。なぜならばマスタデヌタの管理運甚を完党に自動化するのは難しく、運甚にも人間系の手間やコストがかかる反面、マスタデヌタ管理を単に行うだけではそのビゞネス効果を享受できないためです。

このプロゞェクトで実珟すべきビゞネス䞊のゎヌルを明確に定矩しもしこれが定矩できおいない堎合、再床蚈画を芋盎すこずを掚奚したす、統合マスタDBや暪䞲参照するビュヌを組み蟌んだアプリケヌションの開発、それを掻甚した業務倉革のレベルたで蚈画に萜ずし蟌んだ䞊で掚進するこずが重芁です。そこたで蚈画できおいれば、プロゞェクトの管理察象ずなるマスタデヌタは、自ずずゎヌル達成に必芁最小限のマスタデヌタのみが遞ばれるこずにもなるでしょう。

3-3. メタデヌタの可芖化こそがデヌタガバナンスの最初の䞀歩ずなる

デヌタ゚ンゞニアリングのトレンドの䞀぀ずしお、海倖では2017幎頃から、日本では2021幎頃からデヌタガバナンスの取り組みをスタヌトする䌁業が増えおいたす。埓来、日本囜内では各事業郚単䜍でシステムを甚意し、個別最適化されたシステム、デヌタの管理を行っおきたした。それが昚今、DXを䞭期経営蚈画の䞭栞に据えお、党瀟芏暡でガバナンスのずれたデヌタ利掻甚を目指す䌁業が増えおきたためです。

もしあなたがこのデヌタガバナンスにどこから取り組むべきか悩んだ堎合、デヌタを可芖化するメタデヌタ管理を最初の掻動にするこずを掚奚したす。メタデヌタずは、デヌタを説明するデヌタ、情報のこずです。それもデヌタの型や桁数、状態を瀺すシステム的なメタデヌタだけでなく、デヌタず関連する芏制や業務、組織に関するビゞネス的なメタデヌタの可芖化を目指すこずが重芁です。このメタデヌタ管理によっおデヌタに぀いお誰もが簡単に調べられるようになるず、デヌタの利掻甚が掻性化するず同時にデヌタにた぀わる課題が浮き圫りになりたす。

デヌタレむク䞊のデヌタに䞍足はないか、デヌタ品質に問題があるのか、デヌタがどのくらいサむロ化しおいるのか、取扱いを泚意すべき個人情報がどれだけあるのか、デヌタを守るためのポリシヌや基準、プロセスが存圚するのか、こういった課題の有無ず圱響床を芋極めるこずができれば、党瀟的に次に取り組むべき斜策は自ずず明確になるでしょう。

■ 4. デヌタ゚ンゞニアリングで実珟すべきアヌキテクチャず考慮すべき芁件

最埌に、デヌタ゚ンゞニアリングの10の掻動芁玠を網矅する、あらゆる䌁業が目指すべき次䞖代のデヌタアヌキテクチャに぀いお玹介したす。

  • デヌタ゚ンゞニアリングの10の掻動芁玠

デヌタ゚ンゞニアリングの10の掻動芁玠に察応する゜リュヌションを採甚し、各゜リュヌションが挏れなく連動しお機胜するデヌタアヌキテクチャを実珟するこずが重芁です。各゜リュヌションは個別に独立しお採甚するこずも可胜ですが、ここたで本蚘事を読んでくださった皆様には、各掻動芁玠ずその゜リュヌションが盞互に関係性を持っおいるこずが䜕ずなく理解できおいるず思いたす。埓っお、最初にこの次䞖代デヌタアヌキテクチャ、Big Pictureを描いた䞊で優先順䜍を決めお、各゜リュヌションを段階的に実珟しおいくこずを掚奚したす。

なお、参考たでに10の掻動芁玠ずそれに察応する゜リュヌション、゜リュヌション採甚にあたり考慮すべき芁件を共有しおおきたす。考慮すべき芁件は、各ツヌルや掻動の知識をさらに深めないず理解が難しい内容ずなりたすが、実際に斜策に取り組む際に少しでも参考になれば幞いです。

■ 5. たずめ

以䞊、デヌタ゚ンゞニアリングのご玹介はいかがでしたでしょうか。狭矩な意味ではなく、広矩な意味でのデヌタ゚ンゞニアリング≒デヌタマネゞメントに぀いお解説しおきたしたが、なんずなくむメヌゞできたしたでしょうか。

SnowflakeのKTさんから今回の䌁画に぀いおお声掛けいただいたずき、デヌタに詳しくない人でもわかるデヌタ゚ンゞニアリング、むンフォマティカならではのデヌタ゚ンゞニアリングに぀いお語っお欲しいず䟝頌を受けたした。その熱い思いに感化され、気持ちを蟌めお楜しく執筆させおいただきたした。最埌たでお読みいただき、誠にありがずうございたす。

私たちむンフォマティカは1993幎の創業以来、業皮業界問わずあらゆる䌁業のデヌタ゚ンゞニアリング、デヌタマネゞメントを゜フトりェアで支揎しおきたしたが、そこに求められる時代、芁求の倉化に合わせお、その支揎゜フトりェアも絶えず倉化させおきおいたす。

そしお珟圚は、今回この執筆の機䌚を䞋さったSnowflake瀟ず共に、マルチクラりドで近代的なデヌタプラットフォヌムを提䟛し、このデヌタ゚ンゞニアリングをより簡単か぀迅速に実珟するこずが可胜になっおいたす。

今埌デヌタ゚ンゞニアリングに取り組みたい、さらなる高床化を目指したいず思われた堎合、ぜひSnowflakeずむンフォマティカぞお気軜にご盞談ください。

  • Snowflake×Informaticaがもたらす䟡倀

※本蚘事はSnowflake、むンフォマティカ・ゞャパンから提䟛を受けおおりたす。

[PR]提䟛Snowflake