機械学習(ML)や生成AI(GenAI)がもたらす生産性向上やイノベーションの可能性は計りしれません。しかし、データの基盤が整備されていなければ、そのポテンシャルは十分に発揮されません。Gartnerの予測によると、少なくとも30%の生成AIプロジェクトが、データ品質の低さなどの要因で途中放棄されるといいます。

データの生成量は日々増加し、新たなデータソースも次々と登場しています。その結果、企業はクラウド、エッジ、データセンター、メインフレーム、エンドユーザーのデバイスに分散した重要データを有効活用することがますます困難になっています。

Clouderaが2024年に実施した「エンタープライズAIと最新データアーキテクチャに関する調査」では、ITリーダーの73%が、社内のデータがサイロ化(分断)されており、相互に接続されていないと回答しました。さらに、半数以上が「自社の全データにアクセスするくらいなら歯科治療(根管治療)を受ける方がマシ」と答えており、データ管理の煩雑さが大きな課題であることが示されています。

また、IT部門に限らず、多くの経営層がAIや生成AIへの投資から適切なROI(投資対効果)を得ることに苦戦していることも明らかになっています。その原因の一つが、企業のデータ基盤が十分に整備されていないことにあります。

データ管理はITの問題ではなく、経営の課題

埋もれて活用されないデータは、ビジネスの価値を生まない「データの墓場」と化します。

多くの企業でレガシーシステムや時代遅れのデータ管理フレームワークを使用しており、それらはアナログ時代やクラウド以前の環境を前提に設計されたものです。そのため、現在のデータ生成速度やデータセットの複雑さに対応できず、リアルタイム分析や拡張性を確保できていません。

データの信頼性を確保し、AIの活用を推進する唯一の方法は、ハイブリッド環境でデータの管理を可能にする最新のプラットフォーム(以下、ハイブリッドデータプラットフォーム)を構築することです。これにより、企業はデータへのアクセスを簡素化し、データを構造化し、ビジネス成長を促進する実用的なインサイトを抽出できるようになります。

堅牢なデータプラットフォームの導入は、単なるITの課題ではなく、ビジネス戦略の観点から語られるべき課題です。それは、データへのアクセス、セキュリティ、コスト効率といった、企業の戦略的な優先事項に直接関わるものだからです。ハイブリッドデータプラットフォームの導入は、経営戦略の一環として議論すべき重要なテーマとなっているのです。

経営に不可欠なデータ基盤の確立

企業の多くがマルチクラウドやハイブリッド環境を活用していますが、データセットの特定やアクセスは依然として複雑な課題となっています。さらに、オンプレミスとパブリッククラウド間でのデータワークロードの分散は、状況に応じて動的に変化するため、データの識別や管理が一層困難になります。

ここ1年間だけでも、多くの企業がセキュリティやコストの理由から、ワークロードをプライベートクラウドに回帰させる動きを見せています。ハイブリッドデータプラットフォームを導入することで、企業はあらゆるデータソースから任意のデスティネーションへデータをシームレスに移動でき、データ管理・分析用アプリケーションの再構築が不要になります。

非構造化データの活用がカギ

今日、多くの企業がマルチクラウドとハイブリッド環境を活用しているため、データセットの特定がますます複雑になっています。さらに、オンプレミスとパブリッククラウド間でのデータやワークロードの分散は絶えず変化しており、特定の時点でのデータのアクセスや識別が一層困難になっています。

過去12か月だけでも、多くの企業がセキュリティやコスト削減を目的として、ワークロードをプライベートクラウドに戻す動きを見せています。

このような状況の中で、ハイブリッドデータプラットフォームはデータの移動を簡素化し、あらゆるソースから任意のデスティネーションへシームレスにデータを転送できるようにします。また、データ管理や分析のために必要なアプリケーションを再構築する必要がなくなるため、業務の負担を軽減できます。

非構造化データの活用と分析の重要性

現代のデータアーキテクチャにおいて不可欠なのは、非構造化データを分析し、価値ある情報を導き出すための高度な分析ツールです。Gartnerの「2022年ストレージ戦略ロードマップ」によると、新たなフォーマットの非構造化データは年率30~60%のペースで増加しており、これを有効活用することで、実際のビジネス価値へと転換することが可能になります。

例えば、小売業では、自社製品に関するソーシャルメディアの投稿、ECサイト上のレビュー、パートナー企業のリストなど、膨大な量のユーザーフィードバックが蓄積されています。これらのデータを適切に分析することで、トラフィックの増加、評価の向上、カスタマーエクスペリエンスの改善に向けた実用的なインサイトを得ることができます。

ハイブリッドデータプラットフォームは、企業がアナリティクスのインフラを拡張できるようにし、業務拡大や新市場への進出を支援します。このスケーラビリティにより、組織は将来の成長ニーズに対応しながら、パフォーマンスを損なうことなく、無駄なコストの発生を抑えることが可能になります。

データセキュリティとコンプライアンスが企業経営の中核課題となる時代において、セキュリティとガバナンスが組み込まれたハイブリッドデータプラットフォームの導入は不可欠です。これには、暗号化、アクセス制御、監査機能が含まれており、機密情報の保護を強化し、データ漏洩のリスクを軽減します。

特に、金融業界のように厳格な規制要件が求められる業界では、強固なデータ管理体制が法令遵守と信頼性向上のカギを握ります。

強固なデータ基盤は企業の貴重な資産

例えば、インドネシアの上場銀行である PT Bank OCBC NISP は、競争が激化する市場においてデジタルファーストの金融機関としての地位を確立するという課題に直面していました。

同銀行は生成AIの持つ能性を活用するため、ハイブリッドデータ戦略を採用し、データレイクとシームレスに統合することで、データサイエンティストやビジネスユーザーが多様なアプリケーションと効率的に連携できる環境を構築しました。

このハイブリッドデータプラットフォームを基盤に、PT Bank OCBC NISP はスケーラブルなインフラを構築し、生成AIプロジェクトに対応するツールやフレームワークを導入。これにより、トランスフォーマーモデルを活用したリアルタイムのインテリジェントかつパーソナライズされた推奨を顧客に提供できるようになりました。強固で柔軟な基盤を整備することで、組織全体にAIを大規模に統合し、顧客向けの革新的なサービスを推進し、規制報告の精度を向上させることが可能になりました。

データ基盤の整備が成功のカギ

アナリティクス、機械学習、AI、生成AIは、企業のイノベーション推進、生産性向上、コスト効率の改善、そして競争力維持において大きな可能性を秘めています。しかし、こうした技術の活用には、強固なデータ基盤が不可欠です。

データ管理の課題を解消し、最大限の価値を引き出すためには、適切なデータガバナンスの確立が必須です。もはやデータガバナンスはIT部門だけの責任ではなく、経営層や役員レベルで議論されるべき重要な経営課題となっています。

適切なデータ管理戦略を構築し、データの価値を最大限に引き出すことで、企業は持続的な成長を実現し、データの墓場を金鉱へと変えることができるでしょう。

著者プロフィール

吉田 栄信 ソリューション・エンジニア・マネジャー Cloudera株式会社
クラウド、ビッグデータ、データガバナンス、PaaS、Webアプリケーションなどのアーキテクトとしての設計や実装の経験を持つソリューションエンジニア。2019年6月より現職。以前はDXCテクノロジー・ジャパン株式会社でチーフ・テクノロジスト、ヒューレット・パッカード エンタープライズでビジネス・ディベロップメントを担当。