米Pure Storageの日本法人ピュア・ストレージ・ジャパン(以下、ピュア・ストレージ)は3月12日、AIおよびHPC(High Performance Computing:高性能コンピューティング)の高度な要件に対応するデータ・ストレージ・プラットフォーム「FlashBlade//EXA」を発表し、説明会を開催した。

FlashBladeを基盤とするアーキテクチャにより、大規模なAIやHPCワークロードに求められる並列処理と膨大なメタデータの処理を可能にし、メタデータのボトルネック解消に寄与するという。事前の実機テストにおいて、同製品は単一のネームスペースで毎秒10テラバイトを超える読み取り性能が確認されている。

メタデータがシステム拡張性を阻害する要因に

ピュア・ストレージでアジア太平洋および日本地域を担当するVP兼CTOのMatthew Oostveen(マシュー・ウーストヴィーン)氏は、「昨今のAIの成長は目を見張るものがあり、日本を含む世界全体でAIへの投資が強まっている。しかし、従来のシステムはGPU稼働率の低さが課題。さらに、ROI(Return On Investment:投資利益率)の低さも問題だ」と指摘した。

  • ピュア・ストレージ アジア太平洋・日本地域担当VP 兼 CTO Matthew Oostveen氏

    ピュア・ストレージ アジア太平洋・日本地域担当VP 兼 CTO Matthew Oostveen氏

同社の調査によると、GPUの稼働率は10%未満という結果が得られたそうだ。例えば自動運転のための動画に付属する物体検出の枠など、AIの学習に使われるアノテーションに必要なメタデータの存在が主な原因。

非効率なインフラがマルチモーダルなデータの処理を阻害し、GPUの稼働率とワークロードの効率を低下させている。これにより、従来型のシステムはメタデータ処理の限界によって拡張性と性能の課題に直面しているとのことだ。

このような状況に対し、今回発表された「FlashBlade//EXA」は、データノードとメタデータノードのレイヤーをそもそも分離し、それぞれに最適化して処理する仕組みによって拡張性を確保している。

メタデータノードは「FlashBlade//EXA」が処理のエンジンとなり、データノードは既存ストレージ製品が対応する。単一のコントロールプレーンにより制御可能で、シンプルな一元管理を実現した。

  • 従来型のアーキテクチャ

    従来型のアーキテクチャ

  • 「FlashBlade//EXA」が提案するアーキテクチャ

    「FlashBlade//EXA」が提案するアーキテクチャ

「FlashBlade//EXA」アーキテクチャの戦略

Oostveen氏は、「FlashBlade//EXA」の特徴としてオールインワンのAIデータプラットフォームとして設計した点を挙げた。これにより、AIのトレーニングから本番環境での運用に至るまで一貫して対応可能だ。また、「FlashBlade//EXA」の性能は大規模な運用に対応可能であり、単一のネームスペースで毎秒10テラバイトを超える読み取り性能を備える。

「FlashBlade//EXAはメタデータノードをデータノードから切り離した設計で、それぞれほぼ無制限の拡張性、容量、性能を発揮する」と同氏は説明した。これまでAIエンジニアやデータサイエンティストがシステムの制約により利用するメタデータを選択せざるを得ない状況だったが、そうした制約を考慮する必要がなくなる。

  • 「FlashBlade//EXA」の特徴

    「FlashBlade//EXA」の特徴

メタデータコアの処理エンジンとなる「FlashBlade//EXA」は、コンピュート・クラスタ(GPU)とNFSv4.1 over TCP(pNFS)で接続。一方のデータノードはNFSv3 over RDMAでコンピュート・クラスタに接続される。

  • 「FlashBlade//EXA」アーキテクチャの概要図

    「FlashBlade//EXA」アーキテクチャの概要図

メタデータコアは分散型のアーキテクチャで、メタデータ制御とすべてのシステム・プロセスが全体に分散している。特にメタデータのような小規模ファイルを高い性能で扱えるよう調整した。これにより、「FlashBlade//EXA」全体で小規模から大規模なファイルまで並列処理を可能としている。

  • メタデータコアのアーキテクチャ戦略

    メタデータコアのアーキテクチャ戦略

同製品は現在ユーザーによる受け入れテストが進められている段階。6月をめどに一般提供を開始する予定。今後はDFM(Direct Flash Module)データノードへの対応、NVIDIAの認定取得、Pure Fusionへの統合なども計画している。

  • 今後の開発ロードマップ

    今後の開発ロードマップ