AMDが技術説明会「AMD in Depth 2026」で発表した技術の中で、ある意味一番インパクトがあったのがDRAMとSSDを組み合わせてサーバの実効メモリ容量を拡張する「AMD MEXT」である。

AMDは今年6月15日、Startup企業であるMEXTを買収したのだが、このMEXTのソリューションをいきなり前面に打ち出してくるとは思わなかった。

DRAMの大半はアクセス頻度が低い

MEXTの開発していた技術は後で説明が出てくるので、まずは動機について。MEXTが導入された理由は言うまでもなく昨今のDRAM高騰にある(Photo01,02)。

  • 最近はDRAMの値段が一番高い事になってしまった

    Photo01:最近はDRAMの値段が一番高い事になってしまった

  • DRAMの価格変遷

    Photo02:DRAMの価格変遷。1974年の頃に、GBなんてサイズのメモリは想像も出来なかったのが、今ではTBのサイズの議論をしている

では大量にメモリを積んだら有効に活用されているのか? というと、必ずしもそうでないところが問題である(Photo03)。

  • CPUの場合はアクセスがそこまで頻繁ではなかったりする

    Photo03:GPUとかはまた別だが、CPUの場合はアクセスがそこまで頻繁ではなかったりするのはまぁご存じの通り

基本、メモリ量は、一番利用頻度が高いケースに合わせて実装するが、問題は常に高頻度で使われるとは限らないことだ(Photo03)。Photo04はMetaでの利用方法を分析したもので、Cache Serverとかは半分以上が「それなり」に使われる。ただ細かく見ると、常にアクセスされる領域はごく僅かであり、大半はアクセス頻度が非常に少ないものとなっている。要するに大量に搭載しているメモリの大半はCold状態になっている訳だ。

  • アクセス頻度が10分を超えるのがColdという扱い

    Photo04:アクセス頻度が1分以下をHotと位置付けており、そこから2分以下、5分以下、10分以下、10分を超えるもの、としており、10分を超えるのがColdという扱い

コールドデータをSSDへ退避

「だったらColdの領域を外部(Flash Memory)に退避しちゃえば必要なメモリ量をずっと減らせるのでは?」(Photo05)というのがMEXTの基本的な発想である。

  • これ仮想記憶と何が違うんだ? という話

    Photo05:というか、これ仮想記憶と何が違うんだ? という話でもあるのだが。1980年代のワークステーションは1MBくらいのメモリで10人位が同時にログインして使っていた訳だが、あれの再来というのが正直な感想である

実際にMEXTは、メモリの中でColdにあたる、アクセス頻度が少ない物をFlash Memoryに退避させ、必要になったらまたFlashから戻すという仕組みである(Photo06)。

  • 仮想記憶との違い

    Photo06:仮想記憶と何が違うのか? というと、仮想記憶はMMUが「リクエストされたページが無い」と判断したらそれをPagefileから読み出すのに対し、MEXTは推定を利用してページを先読みすることで、リクエストが発生してから実際にそこにアクセスできる様にするまでの時間を最小に抑えることにある

AIが必要なメモリページを予測

このMEXTの方式が優れているのは、ハードウェア的に一切の変更が無いことだ。現時点ではLinuxのドライバと、「どのページを戻すか」を判断するためのAI Engine、それと利用状況を観察するRAM Viewから構成される(Photo07)。

  • 実際にはこれに加えて退避用のSSDが別途必要になる

    Photo07:実際にはこれに加えて退避用のSSDが別途必要になる訳だが、これも別に普通のSSDであるから、NVDIMMの様な特殊なハードウェアは必要ない

つまり純粋にソフトウェアだけで実現できる点にある。ここでの勘所はAI Engineにある。ベースはLLMだが、リアルタイムに学習と推論を実行可能で、しかもそれはCPUの1コアだけで動作するという軽量なものである。これを利用できることで、DRAMをフル装備にしなくても十分な性能を実現できる様になる、というのがMEXTの勘所である(Photo09)。

  • メモリのアクセス順は、必ずしもLLMの様に上手く行くとは限らない

    Photo08:メモリのアクセス順は、必ずしもLLMの様に上手く行くとは限らない(左図下側)が、こういう場合には直ちにそれを学習して次は正しく反映できる様になるそうだ

  • 50%削減は大きな効果がある

    Photo09:ただ帯域を考えるとDIMMの数そのものは減らせない。それでも、512GB DIMMを256GB DIMMにするとかの対応は可能である。その意味では、20%削減はあまり現実的な解にはならないが、50%削減は大きな効果がある

実効メモリ容量を最大3倍へ

逆に言えば、同じ量のメモリでありながら、見かけ上最大3倍のメモリ容量を実現できるという意味ともなる(Photo10)。

  • このあたりの仕組みはほぼ仮想記憶

    Photo10:このあたりの仕組みはもう、まんま仮想記憶である

このAMD MEXT、実装の場所を選ばない(Photo11)。

  • ホストOSにMEXTを導入すれば、VMやコンテナがその恩恵にあずかれる

    Photo11:VMやコンテナは別にそのVMやコンテナの中に導入する訳では無く、ホストOSにMEXTを導入すれば、VMやコンテナがその恩恵にあずかれるという意味である

実際、買収直前のMEXTのWebページを見るとAWS、Google Cloud、Oracle Cloudといったクラウドプロバイダーの名前が並んでおり(Photo12)、すでにさまざまなクラウドサービスで動作していた事が伺える。

  • ページ退避用のSSDとしてKioxiaのSSDが検証済

    Photo12:Kioxiaの名前があるのは、ページ退避用のSSDとしてKioxiaのSSDが検証済であるためだろう

主な用途として想定されているのがこちらとなる(Photo13)。

  • Databaseに関しては、メモリベースのものら

    Photo13:もっともDatabaseに関しては、メモリベースのもので、しかもメモリ空間一杯にテーブルを展開して総なめする様な用途には効果が薄いというか、性能の割に効果はなさそうだが。この辺ワークロードとの兼ね合いではあるだろう(逆にSSD/HDDベースのデータベースだと効果は大きそうだが)

メモリの容量を減らしても性能の低下は限定的

メモリ削減量と性能低下の兼ね合いを示したのがこちら(Photo14)。

  • メモリを半減させると性能が半減、というあたりが一般的ではなかろうか

    Photo14:25%でここまで落ちるというのは元々メモリが足りない場合だとは思う。メモリを半減させると性能が半減、というあたりが一般的ではなかろうか? そういう意味ではやや誇張している感は否めない

単純にメモリを減らすと急激に性能が下がるが、MEXTを利用するとその落ち方が緩やかになり、コストパフォーマンスを大幅に改善できる、とする。

実際にエージェント型AIでいくつかのエージェントを動かした場合の改善率がこちら(Photo15)。

  • 元がどの程度のメモリ量なのかがはっきりしない

    Photo15:元がどの程度のメモリ量なのかがはっきりしないのだが、何となく512GB DIMMを使ったのが元々で、それを256GB DIMM/128GB DIMMに交換した場合の性能に見えなくもない。あと別に第6世代EPYCでなくても動作するはずである(AMDによる買収の前にMEXTのソフトウェアは完成しているからだ)

棒グラフは相対性能で、メモリを1/4にしてもそれほど性能が落ちない一方、初期コストを大幅に削減できるとする。同様にEDAツールを動かした場合の性能がこちら(Photo16)。

  • 元のメモリ量が判断できないので単純に「半減させても大丈夫」とは言い難い

    Photo16:これも元のメモリ量が判断できないので単純に「半減させても大丈夫」とは言い難いのだが

エージェント型AIに比べると性能の落ち方が著しいが、これだけ見ると半減させるのは現実的に見える。過去の実例で言えば、Microsoft Azureのインスタンスを、3 Node Clusterの構成を行うにあたってMEXTを併用すると、メモリを半減させても性能は99%維持できた、とする。

  • こちらも構成は不明

    Photo17:こちらも構成が不明なのだが、汎用だとするとDADSV7/DALDSV7あたりのインスタンスを使ってテストを行った公算が高い。仮にホストがEPYC 9565あたりだとすると、16GB DIMM×12chという計算だが、もう少し容量がありそうな気も

EDA処理のスループットを最大1.4倍に

逆に見かけ上のメモリ容量を増やした場合の例がこちら(Photo18)。

  • Baselineではメモリ不足で同時に2 Jobしか走らせられなかったのがMEXTを使って4 Jobを同時稼働に出来たという話

    Photo18:MEXTによって見かけ上のメモリ容量を増やした事で、Baselineではメモリ不足で同時に2 Jobしか走らせられなかったのがMEXTを使って4 Jobを同時稼働に出来たという話である

これはSynopsysのPrimeTimeをAzure HX上で動かしたケースだが、最大1.4倍のスループットになったとする。なんか「RamDoublerみたい」という感想を抱いてしまう。

RAM Viewでコールドデータを可視化

こうしたメモリの稼働状況をこまかくレポートしてくれるのがRAM View(Photo19)である。

  • 流石にリアルタイムでこれを観察できるわけではないと思う

    Photo19:流石にリアルタイムでこれを観察できるわけではないと思うが、これのデータサンプリングがどの程度システムに負荷を掛けるのかがきになるところ

通常のメモリツールは全体としての利用量とかプロセス別の利用量とかはレポートできるが、どの位の頻度でというものは示してくれない。RAM Viewは利用頻度別に使用率を示してくれるので、実際にCold状態にあるのはどの程度か、を確認しやすくなる。この例で言えば、Hot状態にあるのは768GB程度だから、メモリを半減させて残りはMEXTでSSDに対比しても大丈夫、と判断出来るわけだ(Photo20)。

  • 実際にはもっと変動が激しいケースも予測される

    Photo20:ただこれはあくまでも見やすい例と思われ、実際にはもっと変動が激しいケースも予測されるので、どの程度が「適切なのか」は難しいところ

HPEが対応製品を展開へ

商用展開としてはHPEが名乗りを上げており、まず第一段階としてはMEXT Readyな製品ラインナップを展開、第二段階で実際にMEXTのライセンスを提供する形でユーザーが使える様にする予定だそうだ(Photo21)。

  • まずはMEXT用のSSDを搭載できる専用ベイを搭載したサーバを販売

    Photo21:まずはMEXT用のSSDを搭載できる専用ベイを搭載したサーバを販売、第二段階でライセンスを販売する形になるようだ

AMDとしては、メモリ削減と実効メモリ容量増加の両方に効果的、ということで販売してゆくことを計画している。

  • alt属性はこちら

    Photo22:まずAMD社内の145台のサーバに展開。2027年中にこれを2000台に増やす計画だそうだ