千葉工業大学(千葉工大)と東京大学(東大)は5月1日、リザバー計算(RC)モデルの一種である次世代型人工知能「エコーステートネットワーク」(ESN)の性能向上の鍵として、ニューロン内部の「時間履歴項」(以下、「THT」と省略)の調整によるダイナミクスの最適化が重要な役割を担うことを解明したと共同で発表した。

同成果は、千葉工大大学院 情報科学研究科の江波戸雄大氏、同・大学 情報変革科学部 情報工学科の信川創教授(同・大学 数理工学研究センター 非常勤主席研究員/国立精神・神経医療研究センター 精神保健研究所児童・予防精神医学研究部 客員研究員兼任)、同・大学 数理工学研究センターの酒見悠介上席研究員(東大 国際高等研究所 ニューロインテリジェンス国際研究機構(WPI-IRCN) 連携研究者兼任)、大和大学 情報学部 情報学科の西村治彦教授(兵庫県立大学 応用情報科学研究科 名誉教授兼任)、工学院大学 先進工学部 機械理工学科の金丸隆志教授(WPI-IRCN 連携研究者兼任)、東京都市大学 知能情報工学科のNina Sviridova講師、東大の合原一幸特別教授/名誉教授(WPI-IRCN IRCNエグゼクティブ・ディレクター・主任研究者/千葉工大 数理工学研究センター 主席研究員兼任)らの共同研究チームによるもの。詳細は、英オンライン総合学術誌「Scientific Reports」に掲載された。

ESNの性能は、リザバー(RCモデルの訓練なしの再帰型ニューラルネットワーク)の記憶性能や安定性、ダイナミクス多様性などが関連しており、それらの性質を定量化する指標が提案されつつある。そこで研究チームは今回、ESNのリザバーを構成するニューロンモデルのTHTがどのように性能に寄与するのかを調べることにしたという。

  • ESNは入力、リザバー、出力からなる構造を持つ

    (上)ESNは入力、リザバー、出力からなる構造を持つ。ESNは入力信号を、リザバーを構成するニューロンの発火状態という高次元の時系列に変換し、発火状態の重みつき和によって出力を得る。リザバーニューロンのTHTはこの発火状態の挙動に作用する。(下)THTの効果の大きさと発火状態の対応。THTを最適な値に調整することで、精度が高い目標出力を得ることができる。ここでは、中央の図が、最適なTHTの時の発火状態。今回の研究では、このTHTの効果を定量的に示すことが目標とされた(出所:千葉工大プレスリリースPDF)

THTは、現時刻のニューロンの発火状態に、過去の発火状態の履歴をどの程度残すかを調節できるパラメータで、リザバーの状態変動のタイムスケールを入力信号や目標出力に合わせることが可能。しかし一般的な指標では、リザバーのダイナミクスのタイムスケールという、やや曖昧な概念を指標化できていなかったため、これまでその効果が十分には検証されていなかったという。また、一般的な記憶指標の「memory capacity」は、THTを持つリザバーの記憶性能を過小評価するという課題があった。

そこで研究チームが考察したのが、記憶性能指標の「delay capacity」(以下、「dc」と省略)が有効な可能性だ。dcは、リザバーの発火状態の高い自己相関の持続期間を指標化したものであるため、ダイナミクスの変動の早さを定量的に示せるという。さらに、同指標は任意の入力信号で計算できるため、THTを持つESNと通常のESNの記憶性能に関する公平な比較が可能だ。

THTを持つESNが高い性能を持つ理由として、通常のESNよりも高いdcを持つためという仮説が立てられ、その確認のための比較実験が行われた。今回の研究では、THTを持つモデルとして、その代表的な「leaky integrator ESN」(LI-ESN)と、近年リザバーへの適用が進められている「chaotic neuron モデル」により構成された「Chaotic ESN」(ChESN)が用いられた。

  • ローレンツ時系列予測タスクと、レスラー時系列予測タスクを用いて、通常のESNとLI-ESN、ChESNが比較された

    ローレンツ時系列予測タスク(a)と、レスラー時系列予測タスク(b)を用いて、通常のESNとLI-ESN、ChESNが比較された(予測誤差(正規化二乗平均平方根誤差)が低いほど、性能が高い)。リザバーニューロンのTHT、リザバーへの入力強度、リザバーの結合重みの強度などのパラメータ設定は、網羅的な探索によって最適化された。(a)と(b)共に、LI-ESNとChESNは通常ESNより予測誤差が小さく、高い性能を持っていることがわかる(出所:千葉工大プレスリリースPDF)

なお考慮すべき要素として、(1)THTの調整による他の動的性質への影響、(2)リザバーの動的性質に関するTHT以外のパラメータの影響による変化、の2点が挙げられた。まず(1)については、多様性指標「共分散ランク」と、安定性指標「コンシステンシー」の評価も行うことで対処。(2)については、広範なパラメータ領域からタスクに最適なパラメータ値を探索し、その値でのリザバーダイナミクスの性質の比較を行うことで対処することにしたという。

  • ローレンツ時系列予測タスクとレスラー時系列予測タスクのそれぞれ最適化されたリザバーの指標を用いて、画像2で得られた最適なリザバーのダイナミクスが、通常のESNとLI-ESN、ChESNで比較された

    ローレンツ時系列予測タスク(a)とレスラー時系列予測タスク(b)のそれぞれ最適化されたリザバーの指標を用いて、画像2で得られた最適なリザバーのダイナミクスが、通常のESNとLI-ESN、ChESNで比較された。リザバーダイナミクスの記憶性能指標のdc、多様性の指標の共分散ランク、安定性の指標のコンシステンシーを用いて比較が行われた。(a)と(b)共に、dcにおいて、LI-ESNとChESNが通常のESNより高い値を得ている。また、LI-ESNとChESNは近いdcの値で最適となっている(出所:千葉工大プレスリリースPDF)

通常のESN、LI-ESN、ChESNにより、一般的な時系列予測ベンチマークの「カオス時系列予測タスク」を2種類用いた比較がなされた。その結果、LI-ESNとChESNが通常のESNよりも高い性能を有することが確認されたとする。次に、各モデルのdc、共分散ランク、コンシステンシーが比較されたところ、LI-ESNとChESNが通常のESNよりも高いdcを持っていることがわかった。

  • 網羅的なパラメータ探索で得られたリザバーのdcと予測誤差の対応が、通常のESN、LI-ESN、ChESNで比較されたもの

    網羅的なパラメータ探索で得られたリザバーのdcと予測誤差の対応が、通常のESN、LI-ESN、ChESNで比較されたもの。各点が得られたサンプルで、赤い点はリザバーダイナミクスの多様性指標の共分散ランクと、安定性指標のコンシステンシーが最大の点として示されている。縦の点線は、画像3において最適なLI-ESNとChESNのリザバーが持つdcの値の平均。この縦の点線付近の値は、ローレンツ時系列予測タスク(a)と、レスラー時系列予測タスク(b)それぞれにおいて最適なdcが示されている。つまり、赤い点かつ縦の点線付近のdcで最も性能が高いリザバーを得ることができる。(a)と(b)共に、LI-ESNとChESNはそのようなリザバーを実現できているが、通常のESNでは緑の横線で示されている、多様性と安定性を保ちながら実現できるdcの範囲が縦の点線に届いていないことがわかる(出所:千葉工大プレスリリースPDF)

さらに、広範なパラメータ領域におけるdcとタスク性能の対応が比較された。その結果、通常のESNはパラメータ次第では最適なdcを持ちえるが、多様性と安定性を保ったままある一定以上のdcの実現は困難なことが判明。逆にLI-ESNとChESNでは、多様性と安定性を保ちながら高いdcを実現できていた。この結果から、THTを持つESNは、高いdcを要求するタスクで有効性が高い可能性があるとしている。

研究チームは今後、時系列分類など、時系列予測以外のタスクでの性能評価や、複数のタイムスケールを持つ時系列に対する適用などを行うとしている。