情報通信研究機構(NICT)は4月22日、物体を掴み剛性(硬さ)を感じ取る「アクティブタッチ(能動的な触知覚)」において、“指を動かして感じる触覚情報”と“指の動きの視覚情報”が統合される脳内メカニズムを、機能的磁気共鳴撮像法(fMRI)を用いた実験で特定したと発表した。

  • fMRIの実験環境と触覚・視覚情報の統合に関連した脳部位

    (a)fMRIの実験環境。(b)触覚・視覚情報の統合に関連した脳部位(出所:NICT Webサイト)

同成果は、NICT ユニバーサルコミュニケーション研究所 先進的リアリティ技術総合研究室のJuan Liu主任研究員(NICT 未来ICT研究所 脳情報通信融合研究センター 脳機能解析研究室 主任研究員兼任)らの共同研究チームによるもの。詳細は、神経イメージングを用いた脳科学を扱う学術誌「Imaging Neuroscience」に掲載された。

マルチモーダル情報とは、五感情報を含む複数の情報源からの情報のことだが、それらを統合して活用するための効果的かつ効率的な技術は未だ確立されていない。その要因の1つとして、ヒトの脳内で複数の情報がどのように統合・処理されているのかについて、未解明な点が多いことが挙げられる。そこで研究チームは今回、アクティブタッチにおいて、指を動かして感じる触覚情報と指の動きの視覚情報が統合される脳内メカニズムを調べたという。

今回の研究ではまず、剛性の知覚において、触覚・視覚情報の相互作用があるのか検証された。実験では、標準刺激(標準の剛性の触覚刺激および指の動きの大きさが一致している視覚刺激)と、比較刺激(触覚刺激とさまざまな視覚刺激の組み合わせ)を順不同で連続提示し、実験参加者はバーの動きを見ながら力覚提示(ハプティクス)デバイスのプレートをつかむ動作を行い、どちらに剛性があると感じたのかを判断してもらうという内容だ。

そして実験を受け、「触覚刺激の剛性」に対する「標準刺激より比較刺激が硬いと判断した割合の平均値」がグラフ化された。すると、触覚情報の剛性に対する「視覚情報の剛性」の比が、0.75の曲線は1.0の曲線(指の動きとバーの動きの大きさが一致している刺激)より左にずれていることが確認された。研究チームによるとこの結果は、視覚刺激の動きが小さくなると、触覚刺激が同じでもより硬いと感じていることが示されているとのこと。剛性の知覚は触覚情報だけでなく、視覚情報の動きの大小にも影響されることが示されたのである。

  • 視覚情報と触覚情報の相互作用を示す行動実験の結果

    視覚情報と触覚情報の相互作用を示す行動実験の結果。RSとは「触覚情報の剛性」に対する「視覚情報の剛性」の比。0.75の青線は1.0の黒線(指の動きとバーの動きの大きさが一致している刺激)より左にずれており、視覚刺激の動きが小さくなると、触覚刺激が同じでもより硬いと感じていることが示されている(出所:NICT Webサイト)

次に行われたfMRIを用いた第1実験では、触覚・視覚情報を単独で提示した場合より、組み合わせて提示した場合に大脳両側の「上頭頂小葉」(SPL)と「縁上回」(SMG)の活動が高まり、両部位に触覚・視覚情報が収束し統合処理が行われている可能性が示された。なおこれまで、空間認識や道具の操作などへの両部位の関わりは知られていたが、剛性知覚において触覚・視覚情報が両部位に収束することが判明したのは今回が初めてだとする。

続くfMRIを用いた第2実験では、触覚・視覚情報が整合している条件(指の動きと指を示す視覚情報の動きが一致する条件)と不整合の条件が比較された。その結果、整合条件で左脳内側部の「中帯状皮質」(MCC)、左脳外側部「S1領野」(一次体性感覚野)、両半球外側部の「頭頂弁蓋」(PO)内の「S2領野」(二次体性感覚野)の活動が高まることが示された。S1が体性感覚情報を最初に処理する部位であるのに対し、S2はS1からの入力を受けて身体と外界・行為との関連を処理する部位と考えられている。一方でMCCは、運動指令と多感覚情報を踏まえて行為の実行に関わる部位とされているが、その機能はまだ十分には解明されていない。

そこで今般の実験では、「動的因果モデリング」手法を用いて、これらの脳部位間のネットワークが解析された。すると、触覚・視覚情報の整合性判断において、MCCからS1とPOへの情報の流れが判明。これにより、触覚情報のボトムアップ処理に対して、視覚と触覚の一致に関するトップダウン情報が影響する可能性(両者が整合していると判断されると、触覚の処理が促進される可能性があるなど)が解明された。

  • 視覚情報と触覚情報が整合している場合に活動する脳部位とトップダウン処理機構

    (a)動的な視覚情報と、触覚情報が整合している場合に活動する脳部位。(b)脳内ネットワークにおける整合性判断に基づくトップダウン処理機構(出所:NICT Webサイト)

研究チームによると、脳内の感覚情報の統合処理に関する知見は、効果的かつ効率的なマルチモーダル情報のXR技術やAI技術の実現に対し有益だという。XR技術においては、脳の統合処理に合致した方式を採用することで、XR空間における実在感や行為の主体感の向上効果が期待できると共に、例えば、触覚情報が不十分でも視覚情報で補えるため、触覚処理にかかる多大なコストを抑えたより効率的なXR空間の再現が期待できる。またAI技術においては、ヒトの感覚処理の仕組みを理解することで、ヒトに共感しヒトと協調するマルチモーダルAI技術の実現が期待されるとする。

研究チームは今後、脳における感覚情報の統合メカニズムの解明をさらに進めると共に、脳機能の知見を活かしたマルチモーダル情報のXR技術・AI技術の開発を進めていくとしている。