三菱電機は11月7日、ウエアラブル端末を活用し、AR(拡張現実)表示による点検手順の確認とハンズフリーでの点検結果の音声入力ができる「3次元モデルARを用いた保守点検作業支援技術」を開発したと発表した。

近年、点検作業のペーパーレス化・効率化・漏れ防止などを目的として、点検手順などをタブレットPCやウエアラブル端末上にAR表示する作業支援システムの実用化が進んでいる。しかし、従来のシステムは写真などの2次元画像をもとにAR表示するため、大規模な施設の点検に対しては大量の写真データが必要となる。また、両手が自由な状態で点検結果を記録できる音声入力も期待されていますが、入力結果を確認する手順の効率化や現場の騒音下での認識精度向上が課題だった。

このたび三菱電機が開発した技術は、3次元センサーを搭載したタブレットPCで撮影するだけで簡単に構築できる3次元モデルを使用することにより、点検対象と点検手順との関連付けを一括で構築できる。また、2次元画像の代わりに3次元モデルを用いて位置と方向を算出するため、点検対象の位置や方向にかかわらず正確なAR表示が可能。さらに、複数の点検対象との位置関係を把握でき、離れている機器同士の点検順序や各機器の詳細な点検手順などを、作業者と点検対象との距離に応じて自動的にAR表示する。

また、3次元モデルと関連付けた点検手順データベースから音声対話手順を自動生成することで、AR表示と連動した音声対話による点検結果の入力を実現。音声入力した点検結果はAR表示にすぐに反映され、作業者は音声入力結果に誤りのないことをウエアラブル端末上で確認できる。不明確な入力や点検漏れがある場合は、システムが再入力を促す仕組みとなっている。加えて、非定常騒音下であっても音声区間を正しく検出し、多様な騒音を考慮したディープラーニングに基づく音響辞書を構築する「高騒音下音声認識技術」により、現場の騒音下での使用に耐える高い認識精度を実現している。

開発技術の概要