高知工科大学と群馬大学(群大)は5月17日、ヒトが視覚情報のカテゴリを判断する際に、まず大雑把なカテゴリ分類が行われたのちに詳細なカテゴリ分類が行われており、この時間の経過には従来考えられていたよりも広範囲な脳領域が関与していることを発見したと発表した。

同成果は、高知工科大 脳コミュニケーション研究センターの渡邊言也助教(研究当時)、同・竹田真己教授、同・中原潔教授、narrative nightsの三好康祐代表取締役、群大の地村弘二教授らの共同研究チームによるもの。詳細は、脳機能に関する全般を扱う学術誌「NeuroImage」に掲載された。

ヒトは、視覚に捉えた人物や物体などを素早く判断して認識することが可能であり、それゆえに視覚に捉えた対象が危険なものなのかどうかを素早く判断したり、意思決定を行ったりすることができる。知覚には、視覚情報がどのカテゴリ(顔なのか物体なのかなど)に属しているかといった情報処理が含まれるが、実はその詳しい脳内メカニズムはまだ良くわかっていないという。

これまでの研究から、脳の一部の領域が視覚情報のカテゴリ分類に関与していることが報告されていたものの、ほかの領域の関与については良く分かっていなかったほか、カテゴリ分類の順番としても、大きなカテゴリ分類(たとえば顔か物体かの分類)と、小さなカテゴリ分類(たとえば男性の顔か女性の顔かの分類)のどちらが先に行われるかについても、議論が続けられてきたとする。そこで研究チームは今回、カテゴリ分類の順番について確かめることを目的に、2つの技術的基盤を開発して、それを応用して調査を行ったという。

開発された技術的基盤の1つ目は、fMRIと脳波(EEG)を同時に計測することにより、ヒトが視覚情報を得いている際の脳活動を、時間と空間のどちらも高い分解能で計測するというもの。fMRIは、脳内の血流動態と神経活動に密接な関係があることを利用し、脳内の血流動態を計測することで、間接的ながら高い空間解像度で脳の神経活動を捉える技術であり、一方のEEGは、脳から生じる電気活動(神経活動)を頭皮上に置いた電極で非侵襲的に計測するもので、電気活動を直接計測するため、時間解像度に優れているという特長がある。

技術的基盤の2つ目は、脳活動データから視覚情報のカテゴリ分類を推定するために深層学習を用いるというもの。研究チームでは、この実験系により、従来用いられてきた手法よりもより高い分類デコーディング精度が得られ、視覚情報のカテゴリ分類に関する時空間パターンについてもより精緻な知見が得られるのではと考察したという。

実験では、被験者に、顔画像もしくは物体画像を見てもらい、空間分解能に優れたfMRIと時間分解能に優れたEEGを同時に用いて、その間の脳活動が計測された。顔画像としては、男性顔または女性顔のいずれかが提示され、物体画像は自然物または人工物のいずれかが提示されるというもの。今回の研究では、顔と物体の分別は「カテゴリ分類」とし、男性・女性の顔の区別または自然・人工の物体の区別を「サブカテゴリ分類」としたという。

空間分解能の高いfMRIデータを用いた視覚カテゴリ分類が行われた際にディープニューラルネットワーク(DNN)にて注目した脳領域の可視化を実施したところ、従来の解析で明らかになっていた後頭葉から側頭葉にまたがる「腹側視覚路」と呼ばれる脳領域に加えて、全脳に渡る広範囲な脳領域の活動が視覚カテゴリ分類に寄与していることが示されたという。

また、EEGデータを用いた視覚カテゴリ分類も行われた際にもDNNにて注目した脳活動のタイミング検証が行われたところ、カテゴリ分類からサブカテゴリ分類の順番で行われていることが確かめられたとする。これらの結果について研究チームでは、先行研究で提案されている理論モデルの結果を支持するものだと説明している。

  • fMRIデコーディングの可視化

    (A)fMRIデコーディングの可視化。赤い領域は、視覚情報が顔だと判断する際に働く領域。青い領域は、視覚情報が物体だと判断する際に働く領域。(B)EEGデコーディングの可視化。顔/物体のカテゴリカルな分類判断の方が、男性顔/女性顔や自然物/人工物といったサブカテゴリカルな分類判断よりも時間的に早いタイミングで起こっていることが示されている (出所:群大プレスリリースPDF)

さらに、fMRIデータとEEGデータをともに用いて、DNNを学習させた上でデコーディングを行ったところ、fMRIデータもしくはEEGデータを単体で用いた場合と比べて成績が上昇し、より高いデコーディング成績を示すことも確認。この結果は、単一のモダリティの脳活動データを用いるよりも、複数のモダリティの脳活動データを用いた方が、より脳活動の特徴を捉えられることが示唆されたと研究チームでは説明する。

  • fMRIデータとEEGデータの両方を用いて深層学習モデルを学習させた場合のデコーディング成績

    fMRIデータとEEGデータの両方を用いて深層学習モデルを学習させた場合のデコーディング成績。カテゴリ分類、サブカテゴリ分類ともに高い分類成績が示された (出所:群大プレスリリースPDF)

なお研究チームによると、今回開発された、高時空間分解能脳活動計測と深層学習によるデコーディング技術は、視覚情報の研究以外にも展開が可能だという。また、今後については、今回の手法を用いることで、例えば意識障害を有し、自身の考えを表明することが難しい患者が実際にどのようなことを考えているのかといったことを、リアルタイムにデコードするといった応用につなげていきたいとしている。