東京工業大学(東工大)は9月5日、イタリアのトレント大学や米国カーネギーメロン大学などの脳研究で世界的にトップクラスの国際研究機関と共同で、ヒトがどのような状況で言葉やその意味を考え、それが「機能磁気共鳴画像法(fMRI)」など脳の観測データにどう反映されるのかという、個人の多様な反応特性を考慮した言語予測モデルを開発したと発表した。これにより、ヒトが考えている言葉などを脳の観察により知ることができるようになるという。

成果は、東工大大学院 社会理工学研究科の赤間啓之准教授らの研究グループによるもの。研究の詳細な内容は、8月24日付けでスイスの電視ジャーナル「Frontiers in Neuroinformatics」に掲載された。

ヒトが頭の中で考えている言葉や意味、すなわちヒトの思考、認知的状態を解読、判別、分類、予想することは、fMRIなどの脳反応データを、機械学習という方法でコンピュータによるパターン解析にかけることで可能になる。つまり、脳科学と人工知能の手法を組み合わせることで、表明されなかった思考でも、神経反応をモデル化することにより、「予測」することが可能になるというわけだ。

こうした「多ボクセルパターン解析(MVPA)」という方法は、医療工学の分野での基礎研究として注目を集めている。トレント大学ダートマスカレッジのジェームス・ハクスビー(James Haxby)教授や、カーネギーメロン大学のトム・ミッチェル(Tom Mitchell)教授の論文などを通じて、有効で応用範囲が広いことが知られていた。なお、東工大は両教授らの研究室とは研究協力関係にある。

しかし、比較的に緩い制約条件下では、ヒトによって言葉の意味を考えるやり方はさまざまであり、また、同じヒトが異なる日時・条件で同じことを考えたとしても、1つのモデルがそのまま別のケースに適用できるとは限らないという問題があった。

今回は、赤間准教授がトレント大学、カーネギーメロン大学との共同研究によって、個別の思考データを多様なまま個人のプロファイルとして扱うことを目指し、それらを予測モデルの精度が時系列にどう細かく分布するか、個人ごとに特徴解析を行うことで、個人のシグニチャに当たるパターンの抽出に成功した。

今回の研究における最大の発見は、いかに個人の「思考方略」の多様性が際立っていても、思考推定モデルの予測精度の時間的変化を表す関数は平均化すると「ボールド効果」の基底関数(脳血流中の酸化ヘモグロビンの濃度変化を表すガンマ関数)と極めて相似し、線形変換によってほぼ一致するということである。これは心と体の変化のシンクロを極めて明確に表し、文理融合の要である身心相関の科学において、重要な発見だという。

思考推定モデルの当てはまりの良さは、思考過程のどの時点でデータをサンプルするかによって細かく変わっていく。このように、「サンプルする時点(1秒単位で定義域を設定する)」と「モデルの精度(いわゆる何回の内何回モデルが当たるかという的中率)」の間で、フィットする関数を計算する。

このような心の動きをダイレクトにとらえる関数は、個人によって、あるいは同じ個人でも条件が違った回ではまちまちな結果を出す。これは「タスク方略」の違いや、環境のノイズなどさまざまな原因が考えられる。

しかし平均を取ると、その予測精度関数(画像のグラフでは「Mean all」の線)は、奇しくも、タスクの開始から5秒程度遅れてピークに達することが知られている脳血流動態の生理的な関数(グラフでは「Default SPM HRF」)とは、極めてよく相似しており、画像のようなガンマ関数になり、線形変換でほぼ一致するということである。

今回の成果に対して赤間准教授らは、心と体の変化のシンクロ(同調)を明確に表し、文理融合の要である身心相関の科学における重要な発見であり、実用レベルでは意思の伝達手段を身体的に奪われた方たちの支援デバイスの開発につながる成果であるとした。

なお現在は、研究は次のステップに進んでおり、言語の切り替えを脳が行なっているという条件も入れて、バイリンガル話者や外国語学習者を実験参加者にして、同様のパラダイムでfMRI実験を行ってデータ解析をしている段階だ。

また、脳は1つの複雑ネットワークをなしているので、脳データをグラフ構造化した情報を言語思考の予測モデルに導入する、新たなMVPAの方法論を模索中としているほか、多様なファクターを入れた言語思考の解読モデルの構築を目指し、個人の特性を反映した、実用に耐え得る、神経情報科学の基礎理論を樹立することを目指すとしている。

個人の多様な反応特性を考慮した言語予測モデルにおける各種データをまとめたグラフ