東北大学は12月13日、確率性を伴う複雑な問題を省電力で超高速に処理できると期待される新概念コンピュータの一種「確率論的(P)コンピュータ」にて、順伝播型ニューラルネットワーク(FNN)に基づく計算を行うための新技術を開発し、行動履歴や生活習慣と病気の発症の因果関係を確率的に解析するAI計算のデモ実験などに成功するとともに、これまでのPコンピュータの動作速度を3桁向上させる新素子技術を開発したことを発表した。
同成果は、東北大 電気通信研究所の深見俊輔教授(東北大 先端スピントロニクス研究開発センター/国際集積エレクトロニクス研究開発センター/材料科学高等研究所/工学研究科)らの国際共同研究チームによるもの。詳細は、現地時間12月9日～13日に米サンフランシスコで開催された学術会議「IEDM 2023」にて発表され、2024年1月以降にインターネット上でも公開される予定だ。
2010年代以降はAIの発展に伴い、1年で約10倍(それ以前の5倍以上)というペースでAI計算量が増加しており、データセンターでの電力消費を3倍にも増加させているとされる。この問題に対処するためには、AI計算を超低電力で行える革新的なコンピューティング技術の導入が不可欠となる。
複雑問題を処理するソフトウェア技術として、しばしば用いられるのが「乱数アルゴリズム」だ。しかし、決定論的に動作する現在のコンピュータとは本質的には相性が悪く、計算に多大な電力が費やされてしまう。この問題の解決手法の1つが、ハードウェアのレベルで確率論的(Probabilistic)に振る舞うという概念のPコンピュータである。
提唱されて約40年、その実現のための有効策は不明だったが、2019年に東北大などが、自然の熱で確率的に状態が更新されるスピントロニクス素子(S)を用いたSPコンピュータのデモシステムを構築し、複雑性の高い問題の典型例である「組み合わせ最適化」の原理実証を行った。また2022年には、実験結果に基づいた性能予測から、従来の汎用コンピュータと比べて、Pコンピュータが乱数アルゴリズムを用いた計算速度を約5桁、消費電力を1桁改善できることを示すことに成功している。
一方で、SPコンピュータの社会実装には1つの障壁があった。それは、AI計算とこれまでのSPコンピュータの間での数学的な計算モデル(ニューラルネットワーク(NN)の種類)の違いに関係するという。
代表的なNNである「再帰型NN(RNN)」では、ノード間での情報の往来の方向が定まっていない(たとえば、ノードAとノードBは相互に影響を与える)のに対し、FNNはノードからノードへと情報が流れる方向が定まっている。FNNは従来のコンピュータとの相性が良く、ほぼすべてのAIで用いられているのに対し、これまでに開発されたPコンピュータではRNNが用いられていた。
-
RNN(a)とFNN(b)の模式図。(a)は情報が双方向に流れるのに対し、(b)は情報が流れる方向が規定されている。また(b)は現行の決定論的かつ逐次的に動作するコンピュータと相性が良く、大部分のAI処理において利用されている(出所:東北大プレスリリースPDF)
つまり、FNN対応SPコンピュータを実現できれば、現在汎用コンピュータで行われているAI処理をそのままSPコンピュータでより高速かつ低電力で実行できることになる。そこで研究チームは今回、SPコンピュータをFNNに適応させる新技術を開発し、その基本動作の実証を目指したという。
今回開発されたSPコンピュータの原理実証システムは、4つの確率動作S素子を搭載した確率ビット(Pビット)のユニットと、プログラマブル半導体(FPGA)から構成されている。FPGAはどのSPビットを動作させるかを指定し、指定されたSPビットは物理乱数を生成してFPGAを駆動する、という手順を繰り返すことで演算が行われる設計だ。
-
今回作製されたPコンピュータの原理実証システム。(左)確率動作S素子からなるPビットのユニット。(右)FPGA(出所:東北大プレスリリースPDF)
同システムを用い、FNNの一種である「ベイジアンネットワーク」(BN)の動作実証として、アジアへの旅行歴や喫煙習慣の有無とX線検査での異常や呼吸器系の障害の有無の間の因果関係を表した「アジアネットワーク」を用いて行われた。BNを構成する4層を4つのSPビットで順次更新する手順を1万回繰り返し、各事象のセットの起こりやすさを計算した結果、ベイズの定理から予測される理想分布と酷似した分布となり、これはSPコンピュータが期待通りの動作をしていることを意味しているとする。
-
BNの構成、SPビットからの出力信号(a)と、実験結果(b)(出所:東北大プレスリリースPDF)
また今回の実験では、SPビット素子にも工夫が施されたとのこと。一般にPコンピュータの性能はPビットの乱数生成の速度で決定され、速ければ速いほど高速演算が可能となる。今回の研究では、これまでの東北大の研究成果に基づき、「コバルト鉄ホウ素」(CoFeB)とルテニウム(Ru)が積層された構造「CoFeB/Ru/CoFeB」が確率動作スピントロニクス素子として用いられた。これによって外乱磁界に対する頑強さと、高速での乱数生成が実現されたとする。物理乱数生成は、従来がミリ秒の時間スケールだったのに対し、今回のPビットはマイクロ秒(0.001ミリ秒)で行う。なお、東北大によってさらに2桁以上速い10ナノ秒(0.01マイクロ秒)以下で乱数を生成できる素子技術も確立しており、今後のさらなる高速化に余力が残されているとする。
-
従来研究を3桁上回る高速乱数生成動作が可能なS素子の膜構成(aの右)と、今回作製されたPビットが生成するランダムテレグラフノイズの測定結果(b)(出所:東北大プレスリリースPDF)
今回の研究により、これまでRNNの動作実証に限られていたSPコンピュータが、FNNにも対応できることが確かめられた。今回動作実証されたBNは、現在はスーパーコンピュータなどの汎用性の高いハードウェアにより比較的大きな電力を用いて実行されているが、今回の研究により、SPコンピュータを用いることで超低電力で実行できる道筋が開かれた。今回の技術はSPコンピュータの社会実装の扉を開く鍵となり、それを皮切りに、Pコンピュータの特徴を活かしたさまざまなアプリケーションが開拓されていくことが期待されるという。
さらに研究チームは、今後のSPコンピュータはの大規模化、集積化に向けた研究開発が進展し、利便性とエネルギー効率の高い社会の実現に向けて利用されていくことが期待されるとしている。
