マシンビジョンにおけるディープラーニング活用法

マシンビジョン用途でディープラーニングを活用するためには、ネットワーク単体だけでなく、様々な合わせ技を駆使する必要がある。具体的には、「ルールベース画像処理との組み合わせ」「ネットワークカスケード」などの第3階層の充実化が挙げられる。そこで、本稿では第3階層に焦点を当て、具体的な活用方法を解説する。

まずは頻繁に遭遇する課題を例に挙げて説明したい。これまでディープラーニングにトライした方々から、「ディープラーニングは、我々が想定している場所に着目してくれない」という声を聞くことが多い。例えば下図である。

左上画像中の赤丸が欠陥である。我々人間は深い知識が無くてもこの欠陥を検出することが可能である。しかし、いざディープラーニングを実行すると、コントラストが高いバーコード領域に反応してしまうことがある。この際、ディープラーニング単体で解決を図ろうとすると、学習画像の追加や、パラメータ調整といった選択肢しか残されていない。これで大幅な改善が見られない場合、ディープラーニングという手法を断念せざるを得ない状況に陥ってしまう。

このような課題も、前処理としてルールベース画像処理を組み合わせることで解決可能となる。コード読み取り機能によって検出したバーコード領域を白塗り(マスキング)することで、誤反応する領域を検査領域から除外し、正しい欠陥位置に反応させることができる。

また、ルールベース画像処理は、前処理だけではなく、後処理においても効果を発揮する。以下の例では、画像の上部に5mm、下部に2mmの2つのキズが存在する。

マシンビジョンの業界では、キズの有無だけでなく、長さ情報を統合して良否判定をしなければならないというケースが多数あろうかと思う。ディープラーニングは特徴量ベースで判定を行う性質上、「周りより暗くて線形状であるモノ」をキズとして検出することはできるが、2mm、5mmといった正確な計測は困難である。ディープラーニングが検出したキズ領域に解析範囲を絞り、エッジ検出とその長さ計測を行なうことで長さ情報も加味した正しい良否判定が可能となる。

上記2つの例により、ルールベース画像処理とディープラーニングの組み合わせこそが、マシンビジョンにおいていかに重要であるかがご理解いただけるかと思う。

ここまでは「ルールベース画像処理との組み合わせ」について解説したが、次に、複数ネットワークを重ね合わせた「ネットワークカスケード」が有効となる事例をご紹介していきたい。

ディープラーニングを活用して、不良の発生傾向をつかみ生産工程の改善に繋げたいという取り組みにおいて、以下のような課題に直面することが多いだろう。1つは、学習に必要な不良画像の収集ができない、ということである。事前に十分な数の不良品を用意することができない場合がこれにあたる。2つ目としては、画像のラベリングに工数がかかるということである。十分な枚数の学習画像があったとしてもそれらの画像1枚1枚に対して良品・キズ・カケ・異物といったラベルづけを行なう必要があり、膨大な工数がかかる。これらの課題に対し、「ネットワークカスケード」を用いた不良画像の効率的収集で、解決に導くことが可能である。

一般的に比較的収集が容易な良品画像を用いて、最初にアノマリー検出のネットワークを使用した良否判定のみの学習を行なう(Step1)。次に、Spet1で作成したネットワークを用いた良否判定を行いながら、平行して不良と判定された画像をデータベースに保存する処理を加えることで、不良画像を収集するシステムを構築する(Step2)。このシステムで一定の枚数の欠陥画像を収集した後、欠陥画像のみを用いて分類ネットワークをトレーニングする(Step3)。その結果、Step4で記載している通り、アノマリー検出で良否判定を行い、次いで不良と判別された画像に対して欠陥種別分類を行なうシステムを構築することが可能となる。

このように、複数のネットワークを重ね合わせる「ネットワークカスケード」を活用することで、不良画像が集まりづらいという課題と欠陥種別分類の手間を一挙に解決できる。

最後に、もう1つの適用事例として、信頼度をしきい値として活用する合わせ技についても紹介したい。外観検査において最も避けなければならないことは、不良品の流出である。もしディープラーニングが判断に迷ったのであれば、後段で目視検査や別処理の実行など、何らからのダブルチェックを実施しなければならない。つまり、“判断に迷った”という状況を我々は把握する必要がある。

この目的に対して、ディープラーニングの出力結果の1つである信頼度を組み合わせて検査に利用している方々が最近増えてきている。上図に示す通り、良品と判断した画像に対し、信頼度のしきい値を設定することで、明らかな良品とそれ以外の良品(判断に迷ったもの)を判別し、それ以外という対象に対して別の処理を実行する。これにより、判別が難しいグレーゾーンの画像に対しても正しい判別が可能となる。この事例からも、ディープラーニングを生産現場に導入するには、判定結果だけでなく信頼度といった付属情報を用いた処理が可能なソフトウェアが望ましいだろう。

ここまで、マシンビジョン用途におけるディープラーニングを活用するテクニックに関して事例ベースで説明してきたが、正しい検査結果を導くために、前処理で正しい欠陥候補領域を抽出することや、後処理での寸法計測は不可欠である。ディープラーニングはあくまでマシンビジョンのツールの1つの要素であると理解していただくことが本稿の目的である。

こうしたさまざまな組み合わせを柔軟に行える第3階層の拡充が視野に入っているプラットフォームが強く求められており、この第3階層におけるテクニックこそが、装置メーカとしてシステムインテグレータとして、差別化要因を生み出せるポイントであり、マシンビジョン開発者はここが視野に入っているプラットフォームを選ぶべきだと信じている。本稿のような第3階層の合わせ技を駆使しながら、ディープラーニングの生産現場への適用を加速させてほしい。