Hot Chips29で基調講演を行うGoogleのJeff Dean氏

今年のHot Chipsの2日目の基調講演は、GoogleのAI開発を率いるJeff Dean氏が登壇した。Dean氏は「Recent Advances in Artificial Intelligence and the Implications for Computer System Design」と題して、最近のAIの発展とそれがコンピュータシステムの設計に与える影響について、自身の見解を話した。

最初のスライドで、Googleの多くの人のやった仕事を発表していると書かれている。それは当然であるが、この基調講演を聞くと、Googleが関係しているAI研究の幅の広さには圧倒される。

Jeff Dean氏の基調講演のタイトルスライド (このレポートのすべての図は、Hot Chips 29でのJeff Dean氏の発表資料のコピーである)

ディープラーニングは、昔、流行った人工ニューラルネットワークのリバイバルであるが、ネットワークアーキテクチャや学習法が新しくなり、特にネットワークの規模が拡大している点が新しい。そして、雑音の多い生データから特徴を抽出することができ、特徴を抽出するための特別な技術を必要としない点が大きなメリットである。

人工ニューラルネットワークのリバイバルであるが、規模が大きくなり、学習法も進歩した点が新しい。特別なエンジニアリングなしに特徴を抽出できる点が大きなメリットである

深いニューラルネットが学習できることは、画像の主題のカテゴリを推測するだけでなく、オーディオ波形から発音された文章を推測したり、1つの言語の文章を別の言語の文章に翻訳したり、画像に写っているものを説明したりすることもできる。

ディープニューラルネットワークは、ピクセル画像に映っている対象のカテゴリをライオンと指摘したり、オーディオ波形から発音された言葉を認識したり、1つの言語の入力を別の言語に翻訳したりすることを学習する。また、ピクセル画像の対象を文章で説明することもできる

次の図は横軸がデータ量やモデルサイズなどの複雑度、縦軸が認識などの精度で、概念的な図である。ニューラルネットは、複雑度が増すと、精度も上がっていくが、人間が考えて作った画像認識アルゴリズムなどは、精度の立ちあがりは速いが、複雑度を高めても精度は早く飽和してしまう。

なぜ、ニューラルネットがここに来て注目されているかというと、大量の計算が可能になってきたからである。

次の図のように、1980年代、90年代の貧弱な計算パワーの時代には、計算量の少ない人工のアルゴリズムの方が良い結果が得られていたが、計算パワーが上がってくることにより、ニューラルネットの方が高い精度が得られるようになってきている。

80年代-90年代は計算パワーが不足しており、ニューラルネットより他の方法の方が精度が高かったが、計算量が増やせるようになって、ニューラルネットの精度が上回るようになった

模式的に言うと、2011年の認識は、まだ、計算量が不足でぼんやりした絵しか得られず、26%の認識エラーであったが、2016年には計算パワーがあがり、3%のエラーにまで改善した。人間のエラー率が5%であるのと比べると、すでに人間より高い認識率に達している。

2011年には左の図のような感じで、ニューラルネットのエラーは26%であったが、2016年には3%のエラーになり、5%エラーの人間を上回る精度となった

NAE(National Academy of Engineering)が2008年に発表した21世紀のGrand Engineering Challengeには次の14項目が含まれているが、Dean氏は、赤字で示した5項目については、すでにめどがついてきているという。

2008年に21世紀のエンジニアリングの挑戦として挙げられた14項目のうち、赤字で書いた5項目はすでに実現が始まっている

アーバンインフラの改善に関して、Waymoは300万マイルを超える自動運転の実績を積み重ねている。郊外の交通インフラを大きく改善する技術である。

Waymoは300万マイルを超える自動運転の実績を積み重ねている

健康に関する情報の進歩に関しては、糖尿病に起因する眼球の出血を見つけるという研究を挙げた。出血を見つける眼科医の平均的な成績は、Fスコアで0.91であったが、ディープラーニングのアルゴリズムでは0.95と、人間の専門医を上回る精度を示した。

糖尿病による眼球の出血をディープラーニングが捉える

医薬の改良であるが、従来は、DFT(Density Functional Theory)で原子間に働く力を計算して薬剤の候補となる物質とターゲットのたんぱく質との結合の起こりやすさなどを計算しているが、メッセージパッシングニューラルネットで結合の起こりやすさを求めるという研究が発表された。

DFTで計算すると1000秒のオーダーの時間が掛かるが、この方法では10ms程度の計算で済み、約30万倍速く結果が得られたという。

病気の部分と薬剤候補物質の結合をDFTで求めるのに比べて、メッセージパッシングニューラルネットを使うと30万倍速く計算できた

確かに、DFTは汎用の計算であり効率が悪く、過去の結合の知識を使うニューラルネットの方がずっと効率が良いというのはありそうな気がする。一方、過去の結合の知識を使うと、過去に知られていなかったような結合が見逃されてしまうということが起こるという点で、万能であるかどうかは気になるところである。