九州大学(九大)と科学技術振興機構(JST)は10月27日、機械学習(ML)を活用したノイズフィルターを組み込むことで走査透過型電子顕微鏡法(STEM)の高速度撮影を実現し、物体の内部をナノスケールの解像度で立体的に可視化する観測技術(トモグラフィ)を従来比で100倍高速化することに成功したと発表した。

同成果は、九大 先導物質化学研究所の斉藤光准教授、同・井原史朗助教、同・村山光宏教授、九大大学院 総合理工学府の趙一方大学院生、同・鯉池卓氏大学院生(研究当時)、九大 工学部の仲間陸人大学生(研究当時)、九大大学院 総合理工学研究院の光原昌寿准教授、同・波多聰教授らの研究チームによるもの。詳細は、英オンライン総合学術誌「Scientific Reports」に掲載された。

トモグラフィは、さまざまな角度から撮影した試料の二次元画像から数学的規則を用いて、試料の立体像を再構築する手法だが、ナノスケールでこのような多数の二次元画像を撮影するには長時間を要してしまうという課題があった。

透過電子顕微鏡(TEM)は、観察視野全体に電子線を一様に照射して透過電子線に含まれる試料の構造情報をレンズによって拡大し、記録媒体に転送する仕組みで、ある程度の高速度撮影が可能だが、100nmを超えるような厚みのある試料の場合、電子線が透過しにくくなるため、そうした試料にはSTEMが用いられることとなる。しかし、STEMは撮像速度に時間を要するという課題があり、市販のSTEMでは数十msで撮像が可能ながら、そうした高速度撮像をすると、画像には装置および撮像条件固有の複雑なノイズ・非線形な画像歪みが含まれてしまうという。

  • トモグラフィ

    TEMとSTEMの概要図 (出所:プレスリリースPDF)

そこで研究チームは今回、機械学習を活用したノイズフィルターを作製することで、こうした問題の解決に挑んだという。

具体的には、何層にもフィルターが連なった「U-Net」と呼ばれるネットワーク型のフィルターが採用され、175種類の視野から得られた合計8750枚の画像が教師データとして用いられた。その結果、この機械学習ノイズフィルターが機能し、1枚あたり30msの高速撮像でも数秒かけて取得したかのような低ノイズ画像が得られるようになったという。

実際にトモグラフィを実施するには、従来のSTEMでは数十分を要していたが、今回開発された高速撮像技術を用いることで、連続傾斜像取得時間を5秒にまで短縮することに成功したともしており、結果も従来クラスのものを得られることを確認したという。

研究チームでは、300nmの厚みを持つステンレス試料内部の結晶内にある欠陥である「転位」を可視化することに成功したとしており、今回の技術は電子顕微鏡によるオペランド観察の適用範囲の拡大にもつながる成果といえるとしている。

  • トモグラフィ

    ステンレス鋼中の転位の高速走査像と、それに機械学習法「U-Net」およびノイズ除去技術「BM3D」をそれぞれ適用した結果との比較。同一視野の高速走査像を50枚取得して積算した像とも比較されている (出所:プレスリリースPDF)

なお、今回開発された技術はナノイメージングの高速化に有効なだけではなく、試料への電子線照射量の低減、すなわち電子線に対して耐久力の低いソフトマテリアルや反応性物質、生体の電子顕微鏡解析にも応用できるとしている。

  • トモグラフィ

    (上段)機械学習ノイズフィルターを利用して5秒で取得された画像セットから再構成された立体像。(中段)従来手法で数十分かけて取得した画像セットから再構成した立体像。(下段)両者の比較 (出所:プレスリリースPDF)