東芝は9月15日、画像に対する質問に回答できる質問応答AIを開発したと発表した。画像に映る人物や物だけでなく背景を含めて色、形状、状態などの情報を用いて質問し、回答が得られることが特徴だ。

  • 所定の場所に居るか?など非物体質問に対応できる

例えば、生産現場における潜在的な危険（ヒヤリハット)要因の検知に適用でき、「人物が黒いマットの上にいるか」など、現場ごとのルールにあわせて作業員が所定の場所（黒い絶縁マットなど）に立っているかどうかを確認することができる。

同社によると、画像とテキストの膨大なデータで事前に調整していない場合は66.25%、事前に調整した場合は74.57%と、それぞれ世界最高精度のAI回答正解率を達成したとしている。同AIを生産現場の安全モニタリングに適用することで、現場の安全性向上と監督者の作業省力化の両立が期待できる。

  • 同AIは非物体に対応するため領域分割の特徴を新規追加

従来の画像認識AIでは、人や帽子、作業着など事前に学習した個々の物体を検出することはできるが、点検項目に合わせて何をもとに点検箇所の判定をするのか判定機能を作り込む必要があった。例えば、「帽子を装着しているか」という点検項目では、人物の頭部に帽子が検出されたかどうかで判定する。

東芝が今回開発した質疑応答AIは、画像に映る人物や物だけでなく背景を合わせて認識し、画像の特徴と質問文の特徴を横断的に処理して回答を導き出す。

そのため人物や物の有無だけでなく、それらの場所や状況などさまざまな情報を含んだ画像・質問・回答のセットを学習可能で、約3000種類の回答の選択肢から、質問に応じた回答を提示する。

例えば、「物があるか」ということだけでなく「通路に物が置いてあるか」「人物が所定の位置に立っているか」などの現場の安全確認の上で重要となる質問に対応できる。また点検項目の変更や追加の際にも、項目に合わせて質問文を用意するだけで対応することが可能。

  • 従来技術は背景が絡むと回答を誤りやすい。同AIは正しく回答

同AIは、放送コンテンツからの特定シーンの検索、ドライブレコーダーや監視カメラ映像からの特定の状況や人物の検索、状況が類似した過去のヒヤリハット事例検索など、絞り込み条件に質問文を用いた画像検索への応用も期待できる。

東芝は今後、点検項目の仕様変更を柔軟に行える安全モニタリングシステムへの2023年度中の導入を目指す方針だ。