同社はヒューマンセンシング技術として、行動分析技術「Actlyzer(アクトライザー)」の開発を進めており、すでにさまざまな分野で活用が進められているという。しかし、カメラでの行動検知の場合、当然、人の顔も撮影しまうためプライバシーの問題があった。そこで、今回、ミリ波センサーを活用し、大量の3次元の点群データから、行動科学をもとに人の形状、姿勢を認識できる技術を開発することに成功したという。
具体的には、市販の79GHzミリ波レーダー素子や演算処理回路を組み合わせた「79GHzミリ波センサ」を2022年1月に開発。それを用いて、鳥取市と市営住宅の一人暮らしの高齢者を対象に、24時間の見守りサービスの実証実験を2月より開始したほか、6月にも川崎市と、福祉施設の生活環境を再現した模擬環境ラボにおける実証実験を開始。それらのノウハウを活用し今回、3次元点群データを時系列データとすると、姿勢を推定できることに着目。それに対応したAIモデルを開発し、Actlyzerと連携させることで、前後関係を含む行動の詳細分析を可能とする技術を開発することに成功したという。
ミリ波センサで得られる点群データの粒度が粗いという課題を解決するために、時系列の点群データを活用することで大量の点群データを取得。姿勢を推定するAIモデルで、それを処理することで、どういった姿勢であるかを判別することが可能となった
-
点群データの拡張技術の概要。時系列に沿って複数回のミリ波の照射により、姿勢推定に適したデータを得ることが可能となった
-
姿勢推定のAIモデル。今回開発されたモデルは医療福祉分野で良く見られる約50種類のシーンを学習することで得たもの。そのため、別の用途で利用する場合には、改めて新しい学習データを用意してやる必要があるとのことである
なお、富士通では今後、病院や介護施設との実証実験を実施することで、さらなる効果検証と精度向上を重ね、2023年度中のサービス化を目指すとしている。
-
実際の実験での分析結果。人物が誰であるかを抜きに、人が転んでいる状態などやバイタルデータなどを取得することが可能となった
