オブジェクトストレージの展望

この連載も今回で最終回となります。

「データの問題」を解決するオブジェクトストレージ

かつてMicorsoftのAI担当副社長スティーブ・グッゲンハイマーは「データの問題を解決するまでAIのことを考えるな」と言っていました。

これは具体的にどのような意味なのでしょうか。簡単に言えば、AI(人工知能)やML(機械学習)のようなものは膨大な量のデータを必要とするという、避けては通れない事実に言及しているのです。しかし、彼が問題にしているのは、大容量データが必要というだけではありません。

データをどのように収集するか、データをいつネットワーク経由で転送するか、どこに保存するか、どこで処理するか、一旦保存されたデータをどのように検索し、アプリケーションで関連性があると認識するか。そして効果的なMLや、そのほかのAIアプリケーションを利用可能な状態にするために、最適化されたシステムやワークフローを構築する組み合わせが「データの問題」を複雑にしています。

ここでは、大容量ストレージとAI/MLの間の重要な関係を説明し、なぜオブジェクトストレージがこれらのアプリケーションのデータを管理するために最もコスト効率が良く、パフォーマンスが高く、戦略的に健全な方法であるのかを説明したいと思います。

説明するために、動画を分析するシステムを例にしてみましょう。このデータは大容量で完全に検索不可能であり、動画フィードの数が増えると、高帯域のワイヤエリアネットワークでさえも簡単に窒息させてしまう可能性があります。

AIベースのツールを使って人の数やアクティビティなどの映像を分析することが目的であれば、このデータをローカルで処理することで最も高いパフォーマンスを発揮します。そして、その処理の出力を利用して、動画ファイルにコンテンツを記述したメタデータを「アノテーション」することで、完全に検索可能なアセットを作成することができます。

さらに、重要なことはオブジェクトストレージが提供する、豊富なメタデータ層がなければ、AIアプリケーションは分析に必要なデータを見つけることも、学習のためのMLアプリケーションを見つけることもできないということです。 フラッシュドライブに保存された記述的なメタデータを検索するのと比較して、ハードディスクに保存されたTB(テラバイト)の動画データを検索することを想像してみてください。

上記は「エッジ」ソリューションの一例ですが、同じ基本的な問題に対して同様のソリューションを適用することで、そのほかの多くのアプリケーションが恩恵を受けています。 例えば、製造業におけるIoTでは、工場の現場で迅速な意思決定を行うために、膨大なデータをインジェストした後に即時処理を行う必要があることがよくあります。

また、オブジェクトストレージがAIやMLに最適なのはメタデータと経済性だけではありません。加えて、オブジェクトストレージは無限に、そして容易に拡張が可能です。これが意味するのは、300TBのストレージを持っていて、あと100TBが必要な場合、ノードを追加してマウスをクリックするだけで、容量が増えるだけでなく、システムのパフォーマンスが実際に向上するということです。

オブジェクトストレージはAIやMLアプリにとって理想的

オブジェクトストレージは、シェアードナッシングクラスタアーキテクチャを採用しており、システムのすべての部分が並行して動作し、オブジェクトは従来のストレージ形式よりもはるかに高速に転送できます。このような容易さと無制限のスケーリングは、従来のストレージでは考えられないことです。

加えて、オブジェクトストレージプラットフォームの中には、クラウドと透過的かつシームレスに統合するものもあり、データをクラウドに転送して、クラウドで利用できる多くのAIやMLツールを活用することができます。

さらに、一部のオブジェクトストレージプラットフォームは、Amazon S3として知られるユニバーサルデファクト標準APIであるクラウドと同じ言語を話すため、この統合は魅力的なものとなっています。今日では、ほとんどのAIやMLアプリケーションがS3標準をサポートしています。

最後に、オブジェクトストレージは、従来のストレージやパブリッククラウドに比べて最大60%もコストを抑えてエッジでローカルに展開することができ、容易に拡張を可能としており、高いインジェストレートと転送レートを維持し、無限に大きなメタデータレイヤーもサポートします。

また、いくつかのプラットフォームは、クラウドと同じ言語を話すだけでなく、すべてのパブリッククラウドとシームレスに統合することができます。これらはすべて、オブジェクトストレージがAIやMLアプリケーションにとって理想的なデータストレージソリューションであることを示しています。