芝浦工業大学(芝浦工大)とLiNewの両者は2月28日、2022年6月から開始した、LiDAR技術を用いた研修システムの開発に関する技術的な成果報告を3月1日に行うと発表した。

同成果は、芝浦工大 工学部情報工学科の新熊亮一教授らとLiNewの共同研究チームによるもの。詳細は、3月1日開催の電子情報通信学会によるセンサネットワークとモバイルインテリジェンス研究の専門委員会「SeMI 研究会」にて発表された。

LiDARは、ヒトに無害なレーザ光を照射し、周囲の物体やヒトなどの位置および距離を細かい点の集まりとして計測・集計・分析する光センサ技術。空間内のヒトの顔などの画像・映像は認識しないため、プライバシーを侵害することなく高精度な検知が可能だ。同技術はもともと航空機のレーダや気象観測に使用されていたが、近年は自動運転技術の進展に伴って自動車にも搭載され、周囲の自動車や歩行者などの検知や測距などに利用されている。

そうした中、芝浦工大とLiNewは、2022年6月からLiDAR技術を使用した研修システムの開発に向けた共同研究を行ってきた。同研究は、芝浦工大のセンシングおよびAI解析技術と、LiNewの保有するエンジニア育成ノウハウを組み合わせることで、システム開発時のパフォーマンスを向上させる手法の創出を目指したものである。

今回は、行動周期、気温・気圧などによる学修効果の変化を測定することで、仕事や学習の生産性を向上するシステムの開発が目指されており、LiDARと環境センサを併用し、芝浦工大に通う学生がカリキュラムを受講している時の姿勢や周囲の環境、心拍数などの身体の状態・動向が収集された(今回の研究ではLiDARの3次元点群データのみが用いられた)。なお実験で使用されたLiDARは、9.7cm×6.4cm×6.3cmの小型かつ安価なもので、2機用いられた。

今回の成果は、ある1人の学生から計700秒取得されたデータ(LiDARのデータとして7000フレーム)を基に深層学習を行い、もう1人の学生のデータに適用した結果、高精度の状態検知に成功したというもの。シナリオとしてはノートパソコンを用いた作業が想定され、コンテンツ閲覧中・マウス操作中・キーボードタイピング中・タッチパッド操作中の4状態を深層学習AIに自動検知させ、97%の精度を達成したとする。

  • LiDARで取得されたさまざまな姿勢の点群データ

    LiDARで取得されたさまざまな姿勢の点群データ(出所:Webサイト共同プレスリリースPDF)

また、学修シナリオを想定し20名程度を対象に実施した実験により、2～12分、最長で30分以上のLiDARデータおよび心拍データが取得された。

LiDARによって取得された3次元の点群データは、姿勢だけでなく、手の動きといった時系列変化を特徴として含む。それらをAIで抽出し学習効果と対応させることで、高精度な予測が可能になるという。研究チームは、LiDARのような3次元センサから学習効果を予測する研究は、世界初の試みだとしている。

現状、LiDARが取得した点群データに対応した深層学習AIの研究開発はまだ発展途上で、現在は主に自動運転のための車両検知や歩行者検知に主眼が置かれている。研究チームによると、歩行者や自動車、バイク、トラックなどは大きさや形状がはっきり異なるが、今回の研究では手の位置や身体の傾きといった微細な違いしかないため、従来は分類が困難だったという。

それに対して今回の研究では、点群データからノイズを除去したり二次特徴を付与したりすることで、上述したように97%という高い精度が達成された。なお今後は、今回取得されたデータを用いて、生産性を向上させるシステムの改良に取り組むとしている。