シェアードメモリによる性能向上

シェアードメモリ

シェアードメモリ(SMEM)は物理的にはL1キャッシュと同じSRAMアレイを分割して使っており、DRAMにアクセスするのと比べると20～30倍高速である。また、バンド幅もDRAMの10倍となっている。そして、KeplerのSMEMは8B単位でアクセスができ、DRAMが最低でも32Bにアクセスであるのと比べて小回りが利く。

KeplerのSMEMはアクセスのデータ幅が8Bのバンクが32個あるという構成になっている。前に述べたように、1つのワープでロード、ストア命令を実行すると、32のメモリアクセスが必要になる。この32のアクセスが32のバンクに1対1に対応するアドレスである場合は1回のSMEMアクセスで済む。また、次の図のようにロード命令が4B単位の場合は、同じバンクの同じ8Bに別のスレッドからのアクセスが行われる場合もバンクのぶつかり(Bank Conflict)がなく1回のSMEMアクセスで処理できる。

しかし、同じバンクへN個アクセスが集中し、そのアドレスが異なる場合は1回のSMEMアクセスでは処理できず、N-1回のreplayが必要となる。

また、複数のスレッドが同じアドレスを読む場合は、SMEMからのデータの読み込みは1回で、要求したすべてのスレッドにデータを渡すマルチキャスト機能をサポートしている。なお、複数のスレッドが同じアドレスに書き込む場合は、どれか1つの書き込みが有効になるが、どれが有効になるかは不定である。

アドレスとバンクの対応は、Keplerの8バイトモードでは、8B(4Bデータ2個分)を単位としてバンク0～31に巡回して割り当てられる。つまり、アドレスの下位8ビットを…BBBBBxxxとすると、xxxが8バイトの中のバイト位置を表し、BBBBBがバンク番号となっている。

なお、Fermiのバンクのデータ幅は4Bであり、KeplerはFermiとの互換性を維持する4Bモードのアクセスを行うことができるが、これについては説明を省略する。

ケース3は、倍精度浮動小数点の行列の転置である。32行32列分のSMEMを確保し、ここにGMEMから読んだ行列のデータを格納する。そしてSMEMから1列分のデータを読み出してGMEMの行に書き出すことで転置を行う。このため、32×32のスレッドブロックを使う。

このやり方では、列のアクセスごとにすべてのスレッドが同一のバンクの異なる行をアクセスし、32Wayのコンフリクトが発生する。そうなるとreplayを含めて32×32回のSMEMアクセスが必要となり、長い時間がかかることになる。

これに対して、SMEM上に1列分のpaddingを付け、32行33列分の領域を確保すると、SMEMへの格納状況と読み出し状況は次の図のようになる。

このようにpaddingを付けることで列の読み出し時のバンクコンフリクトが無くなり、結果として約2倍に性能が向上するという。