米デル・テクノロジーズは12月10日(現地時間)、AIワークロード向けに設計・構築した非構造化データ ストレージ プラットフォーム「Dell PowerScale」について、アップデートを発表した。
今回のアップデートでは、「200ギガビット Ethernet」および「Frontend InfiniBand」オプションによる高速ネットワーキング、「61テラバイト SSD」と「24テラバイト HDD」による高密度ストレージ、また新たな「MetadataIQ」機能による検索機能の強化を実現したという。
高速ネットワークによるAIワークフローの高速化
今回のアップデートにより、前年版と比較してストリーミング書込みが最大220%、ストリーミング読み取りが99%向上した。AIパイプラインのすべての段階でシームレスなデータフローが可能になるとのことだ。
これにより、データの取り込みからモデルのトレーニングと推論まで、超高速・低遅延の接続によって、大規模なデータセットでもストレージとコンピューティング間のスムーズなフローを実現する。データのボトルネックが減ることで、より高い頻度でトレーニングチェックポイントを実行できるようになり、生成AIアプリケーションのような大規模AI展開環境向けのモデル トレーニングを促進できる。
また、生成AI環境を展開している企業にとって、ネットワークの高速化はデータ配信の合理化につながり、GPUのパフォーマンスに直接影響を与える。アップデートしたPowerScaleによって、より大規模なデータセットをより短時間で処理できるようになるため、データ主導の迅速な意思決定を支援する。
効率の向上とコスト削減
オールフラッシュの「PowerScale F710」では61テラバイト SSDを提供。これは密度におけるマイルストーンだとしており、エンタープライズ企業向けにメリットをもたらすという。PowerScaleは、「A300」「A3000」「H700」「H7000」ノード向けに24テラバイト HDDを提供。このオプションは、高い要件が求められるハイブリッド ワークロードについて、TCO(総所有コスト)最適化に対する需要に対応する。。
ストレージ密度の向上により、ストレージのフットプリントを最大50%縮小できるため、電力消費およびコロケーション コストの削減が期待できる。さらに、ストレージの密度が高まることでNVIDIA DGX SuperPODをはじめとする生成AIで使われるようなLLM(大規模言語モデル)に対応可能となる。より少ないノードで展開できるようになり、優れた費用対効果でAIを実装しながら、従来以上のインサイトが見込めるとのことだ。
HDDベースのプラットフォームの場合、24テラバイトドライブは20テラバイトドライブに比べ、優れたSSD Cache to HDD Ratio(HDDに対するSSDキャッシュ率)を実現し、より高い出力と低遅延を提供する。
合理化したデータ管理による検索能力の強化
新たな「MetadataIQ」機能は、エンタープライズ環境におけるメタデータの扱い方を変革し、分散されているデータセット全体から価値あるコンテキストを引き出せるようになる。「MetadataIQ」で、Elasticsearchデータベースへメタデータをエクスポートできるようになったことで、ユーザーは効率的にデータを発見し、数十億のファイルやペタバイト規模のデータからインサイトが得られるという。
これにより、エンタープライズ環境において、PDF、ナレッジベース、サポート データベースといった非構造化ソースに隠れている価値ある情報を迅速に発見できるようになる。また、より高速なデータ アクセスによって、組織や部門全体で、質の高い多くの情報をベースとしたリアルタイムの意思決定が可能になる。
分散クラスター環境全体にわたり豊富なメタデータを利用できるようになることで、一貫性を持ちながらコンテキストに沿ったトレーニング データセットのキュレーションを行えるようになる。このアプローチによって、広範なデータを検索する必要がなくなり、アップデートしたコンテンツや新しいコンテンツのみを処理することで、RAG(検索拡張生成)ワークフローの効率を維持できる。また、生成AI環境の時間とコストが削減されるとともに精度が高まるとしている。