GTC 2019 - NVIDIAの事業拡大を縁の下で支える研究部門

今回のGTC 2019において、NVIDIAは研究部門の状況についての発表を行った。これは過去のGTCでは無かったことで、興味深い発表であった。NVIDIAの研究部門を率いるのはシニアVPのWilliam Dally氏である。

NVIDIAの研究部門について発表するWilliam Dally氏

Dally氏は、現在も現役のスタンフォード大の教授であるが、現在は休職してNVIDIAで働いている。以前に、どうしてNVIDIAに来たのかと聞いたことがあるが、「NVIDIAの方が面白い」という答えであった。

Dally先生は、過去にスタンフォード大のコンピュータ科学部門のチェアマンを務め、IEEEのSeymour Clay賞、ACMのEckert Mauchly賞などを受賞している著名な研究者で、NVIDIAの研究部門を率いるのに最適の人物である。

NVIDIAの研究部門のミッションは、

将来の成功のための種を植え付ける
テクノロジを開発する
これにより、NVIDIAにポジティブな変化をもたらす

ことであるという。

そして、各社の研究部門を調べてみたが、論文は多く発表するが、本業にはあまり貢献していない、あるいはその逆というところが多いが、NVIDIAはその中間を目指すという。

NVIDIAの研究の範囲は、プログラミングシステムからネットワーク、アーキテクチャ、VLSI、回路にわたっている。そして、グラフィックス、ロボティックス、認知や学習、ディープラーニングの応用研究、AIのアルゴリズムの研究を行っている。そして、トロントとテルアビブにもAIの研究チームが居る。

NVIDIAの研究部門の研究範囲と研究分野 (このレポートのすべての図は、GTC 2019におけるNVIDIAのWilliam Dally SVPの発表スライドを撮影したものである)

次の図に示されるように、NVIDIAの研究チームは世界中に散らばっており、総勢175人であるという。これはIBMなどの大企業の研究所の研究者の人数と比べるとかなり少ない人数である。ただし、NVIDIAの研究論文を見ると、大学などとの共同研究が多く、NVIDIAの従業員ではないがNVIDIAの研究にかかわっている人を加えると、実質的な研究者の数はずっと多いのではないかと思われる。

NVIDIAの研究部門のロケーション。本社のあるサンノゼ付近だけでなく、シアトル、テキサス、ミズーリ、バージニア、ノースカロライナ、トロントにもある。ヨーロッパではドイツ、フランス、デンマーク、フィンランド、さらにイスラエルと世界各地に散らばっている

次のスライドは、NVIDIAの研究部門が、2018年に外部にその成果を発表したもののリストであり、論文などの形で発表したものが104件、特許の申請が51件、オープンソースのパッケージとして公表したものが12件である。リストされている研究成果はディープラーニング関係のものが多いが、パッケージ上のチップ間の信号伝送用の回路なども名前が挙がっている。

2018年に、NVIDIAの研究部門が外部発表を行った成果。AI関係が多いが低電力、高速の信号の伝送回路なども挙げられている

研究部門が作り製品開発部門に移管したテクノロジには、リアルタイムレイトレーシングのRTX、DGX-2のカギであるNVSwitch、CuDNN、CNNによる欠けた画像の補完、GANによる順次進行型の画像生成などがある。

研究部門から、製品開発部門に技術移管した成果。Turing GPUに使われたリアルタイムレイトレーシング、DGX-2に使われたNVSwitchなどの技術が移管されている

また、研究チーム全体が移籍したレイトレーシングのOptiX、最初の版のCuDNN、レイトレーシングのアルゴリズム、Volta SMのアーキテクチャ、NVSwitchなども技術移管が成功した例である。

研究部門からの技術移管の成功例。レイトレーシングのOptiXは研究者のチーム全員が製品開発部門に移籍した。その他に、最初の版のCuDNNの開発、レイトレースのアルゴリズムとハードウェア、VoltaのSMのアーキテクチャなども研究部門から移管されたテクノロジである

現在の研究の一端として紹介されたのが次のスライドのパッケージレベルの光インタコネクトである。多波長の光を出すレーザからの光を分波器で波長ごとに分解し、それぞれを変調して信号を載せ、合波器でまとめて1本のファイバで伝送する。右下の絵は、Volta GPUの将来形に光通信を組み合わせて16GPUを搭載するDGXを実現する例を示している。

光ファイバによる波長多重を使ったインタコネクトによるDGXの研究

次の研究はマルチチップでディープラーニングのインファレンス用のアクセラレータを作るもので、TSMCの16nm FinFETプロセスで使った小型PEチップを36個搭載している。各チップには16個のPEと4方向の隣接チップと接続するためのGRS(Ground Reference Signaling)のインタフェース回路などが搭載されている。

制御用のコントローラがRISC-Vと書かれており、NVIDIA社内ではRISC-Vの採用に動いているのは確かなようである。

基板に16nm FinFETプロセスで作る小型PEチップを36個搭載するインファレンス用アクセラレータのデモ機

シアトルにはロボットの研究室があり、人間と一緒に安全に働ける次世代のロボットの開発に取り組んでいる。このようなロボットができれば、製造、物流、介護などの分野を大きく変えることができる。

シアトルにあるNVIDIAのロボットの研究室の様子

NVIDIAの研究部門のミッションは、

将来の成功のための種を植え付ける
テクノロジを開発する
これにより、NVIDIAにポジティブな変化をもたらす

ことであり、回路からVLSI、アーキテクチャ、ネットワーク、プログラミングシステム、グラフィックスと認識と学習の分野の研究を行う。

NVIDIAの信条は、努力あたりの学習成果を最大化すること。研究のインパクトを最適化すること。プロジェクトの開始時点で同時に技術移管も始めることである。

結果として、これまでにOptiX、CuDNN、RTXなどを移管し、NVIDIAに貢献してきており、NVIDIAの将来を発明してきたと言える。

キャプションがここに入ります

NVIDIAの研究部門は比較的小人数ではあるが、CuDNN、RTXといったソフトウェアやVolta GPUのSMアーキテクチャ、NVSwitchなど、現在のNVIDIAの先端製品の基礎を作っており、効率的に研究を行っていると言える。しかし、Dally SVPの説明では自動運転関係の話がまったく出ておらず、自動運転は応用技術という位置づけで、基礎研究部門ではなく製品開発部門が担当しているのであろうか？といった疑問が残った。