NEC、映像解析技術と生成AIの活用で改善に向けたアドバイスを生成する技術

NECは1月29日、映像解析技術と生成AIを活用して、お手本動作と実際の作業の違いを把握し、改善に向けたアドバイスを生成する技術を開発したことを発表した。

同技術を活用することで、手指を使う細かな作業から体全体を使う作業まで、改善のための適切なアドバイスを自動で提示できるようになる。これにより、製造や物流、建設などさまざまな業種の作業現場で、指導者なしでも作業習熟が可能になるセルフ教育を実現する。

自動生成されたアドバイス例

技術開発の背景

近年、熟練作業者の高齢化に伴う指導者不足により、技術伝承が進まないことが課題となっている。

また、多品種少量生産の増加や労働者の多様性と流動性により、指導者による作業教育のコスト増加や作業教育が十分に実施できないことによる作業品質の低下が懸念されている。

今回開発された技術はこうした課題の解決に寄与するもの。

技術の詳細

新技術は、指導者の代わりにAIがアドバイスを行うことで、多種多様な作業に対するセルフ教育を可能にするもの。これを実現するために、お手本動作との細かな動きの差異が発生している区間を検知する映像解析技術と、差異に基づいて生成AIがお手本動作に近づくための適切なアドバイス文を生成する技術を開発した。

差異区間を検知する映像解析技術では、お手本動作と実際の作業を比較し、同じ動作が行われている区間の対応付けをする。その際に、人の動きだけでなく作業対象の物体に対する「つかむ」「持つ」といったインタラクションも捉えることで、お手本動作と動作時間が異なっても正確な対応付けが可能になる。これにより、従来は検知できなかった細かな作業動作の差異を検出できるという。

アドバイス文を生成する技術では、検出した差異区間映像に加えて、腰や膝の動き、手や指の形状といった骨格情報を大規模視覚言語モデル(Vision and Language Model : VLM )に入力する。

映像情報だけでなく骨格情報も入力することで、VLMが改善すべき作業姿勢や動作を正確に特定し、具体的なアドバイス文を生成する。生成されたアドバイス文を該当部分の映像と共に提示することにより、物品の細かな組み立て作業や箱詰め、運搬作業など、さまざまな業種の現場で指導者を必要としない作業習熟を可能にし、教育コストの削減にも貢献する。