Hot Chips 29 - GoogleのAIを率いるJeff Dean氏が見据える未来とは

今年のHot Chipsの2日目の基調講演は、GoogleのAI開発を率いるJeff Dean氏が登壇した。Dean氏は「Recent Advances in Artificial Intelligence and the Implications for Computer System Design」と題して、最近のAIの発展とそれがコンピュータシステムの設計に与える影響について、自身の見解を話した。

最初のスライドで、Googleの多くの人のやった仕事を発表していると書かれている。それは当然であるが、この基調講演を聞くと、Googleが関係しているAI研究の幅の広さには圧倒される。

ディープラーニングは、昔、流行った人工ニューラルネットワークのリバイバルであるが、ネットワークアーキテクチャや学習法が新しくなり、特にネットワークの規模が拡大している点が新しい。そして、雑音の多い生データから特徴を抽出することができ、特徴を抽出するための特別な技術を必要としない点が大きなメリットである。

深いニューラルネットが学習できることは、画像の主題のカテゴリを推測するだけでなく、オーディオ波形から発音された文章を推測したり、1つの言語の文章を別の言語の文章に翻訳したり、画像に写っているものを説明したりすることもできる。

次の図は横軸がデータ量やモデルサイズなどの複雑度、縦軸が認識などの精度で、概念的な図である。ニューラルネットは、複雑度が増すと、精度も上がっていくが、人間が考えて作った画像認識アルゴリズムなどは、精度の立ちあがりは速いが、複雑度を高めても精度は早く飽和してしまう。

なぜ、ニューラルネットがここに来て注目されているかというと、大量の計算が可能になってきたからである。

次の図のように、1980年代、90年代の貧弱な計算パワーの時代には、計算量の少ない人工のアルゴリズムの方が良い結果が得られていたが、計算パワーが上がってくることにより、ニューラルネットの方が高い精度が得られるようになってきている。

模式的に言うと、2011年の認識は、まだ、計算量が不足でぼんやりした絵しか得られず、26%の認識エラーであったが、2016年には計算パワーがあがり、3%のエラーにまで改善した。人間のエラー率が5%であるのと比べると、すでに人間より高い認識率に達している。

NAE(National Academy of Engineering)が2008年に発表した21世紀のGrand Engineering Challengeには次の14項目が含まれているが、Dean氏は、赤字で示した5項目については、すでにめどがついてきているという。

アーバンインフラの改善に関して、Waymoは300万マイルを超える自動運転の実績を積み重ねている。郊外の交通インフラを大きく改善する技術である。

健康に関する情報の進歩に関しては、糖尿病に起因する眼球の出血を見つけるという研究を挙げた。出血を見つける眼科医の平均的な成績は、Fスコアで0.91であったが、ディープラーニングのアルゴリズムでは0.95と、人間の専門医を上回る精度を示した。

医薬の改良であるが、従来は、DFT(Density Functional Theory)で原子間に働く力を計算して薬剤の候補となる物質とターゲットのたんぱく質との結合の起こりやすさなどを計算しているが、メッセージパッシングニューラルネットで結合の起こりやすさを求めるという研究が発表された。

DFTで計算すると1000秒のオーダーの時間が掛かるが、この方法では10ms程度の計算で済み、約30万倍速く結果が得られたという。

確かに、DFTは汎用の計算であり効率が悪く、過去の結合の知識を使うニューラルネットの方がずっと効率が良いというのはありそうな気がする。一方、過去の結合の知識を使うと、過去に知られていなかったような結合が見逃されてしまうということが起こるという点で、万能であるかどうかは気になるところである。