ハイパースペクトルカメラとスペクトル解析の世界

前々回(第8回「カメラは2次元画像から+αの時代 - 「カメラ」から「センシングデバイス」)にて、カメラは今後センシングデバイスへと変化していくというトレンドと背景を解説し、それにより2次元情報に+αの情報を付加することができるとお伝えした。その+α情報として前回は3次元について触れたが、今回は波長について解説する。

光はさまざまな波長から構成されていて、例えば人間にとって白く見えるものは可視光領域の400nm～800nmまでの光が均一に混ざっていることを意味する。また、木(植物)を通常のRGBカラーカメラで撮影すると、以下の図のようにGの輝度が大きく反応する。しかし、実際には光はRGBといった3つの大枠のバンドで構成されているのではなく、もっと細かな波長の光から構成されている。たまたまカラーカメラは、この複雑な波長の組み合わせを3つの帯域で大まかに撮像しただけなのである。

もう少し厳密に光の世界を考察すると、木(植物)は緑色(G)の光を強く反射しているのではなく、青色(B)と赤色(R)を吸収しているから緑色に見えるという考え方になる。植物の持つ緑葉体は、青色と赤色を吸収するという特性を持っている、つまりこの光の吸収具合を詳細に解析すると、植物の成長度(収穫機など)といった情報を得ることができる。光の吸収具合を取得するにはRGBバンドではまったく不十分で、より細かなバンドで光の波長構成を取得する必要が出てくる。

ここで言葉の定義を解説すると、光の波長をどれだけ細かく計測するかで呼び名が変わる。可視光領域を単純に3つのバンドで計測すると「RGB」、数10バンドで計測すると「マルチスペクトル」、数100バンドで計測すると「ハイパースペクトル」と呼ばれる。

また、これらを計測するセンサは大きく「CMOS」と「InGaAs」に分けられる。可視光領域を計測するにはCMOSセンサが用いられ、近赤外領域を計測するにはInGaAsセンサが用いられる。CMOSは大量に活用されているのでコストは抑えられるが、InGaAsは研究や航空宇宙といった用途が中心のためにコストが抑えられないのが現状である。よって、一概にハイパースペクトルカメラやマルチスペクトルカメラと言っても、CMOS版(可視光)とInGaAs版(近赤外)の2種類が存在することになる。

ここで、InGaAsセンサを用いた近赤外領域でのスペクトル解析について触れておきたい。多くの物質は近赤外領域において、異なる波長で光を吸収する特徴を持っている。つまり、近赤外の領域で光の吸収特性を観察すると、その物質を特定することができる。以下の図のように、水、グルコース、コラーゲン、脂肪などは典型的な例である。

一般的に広く浸透している3バンドのRGBカラーカメラの用途はさまざまで、風景写真に色情報を付与したり、工業用画像検査では白い米粒が流れるラインに色の異なる物質があればそれを異物として排除するなどがその典型例である。しかし工業用画像処理の世界では、3バンドのカラー画像処理はすでに広く浸透し、その限界もよく理解できるようになったここ最近では、マルチスペクトルやハイパースペクトルに対する関心が急速に高まっている。

近赤外領域でのスペクトル解析の事例

それでは、工業用画像処理の世界でマルチやハイパーを用いると、どのようなことが実現できるようになるのか、その例をいくつか紹介したい。

一般的に「選別機」と呼ばれる装置があり、米、麦、豆、茶、といった粒上の物質に混入する異物を取り除く装置があるが、現在はどれも前述の通り3バンドRGBカメラで行うのが通常である。しかし、色が似たようなものを選別するにはカラー情報では不十分であり、まさにハイパースペクトル情報が求められるようになる。その一例として、穀物の選別と、ナッツの選別、プラスチックの選別を以下に示す。プラスチックについては、リサイクルのために裁断された後に異物を取り除いたり、異なる成分のプラスチックを仕分けるといった要求がある。

また、選別するのは小さな粒とは限らない。廃棄物処理の世界では、木材や金属、プラスチック、布、石、段ボールといった種類を認識して選別する。ハイパースペクトルカメラを用いて物体の材質を認識し、さらに3次元カメラでその物体の位置姿勢を認識して、そこへロボットを移動させてピッキングすることにより該当するボックスへと分別していく。

また、木材加工の分野では、節が存在すると木材としての価値を落とすため、2次元の画像処理で節の位置を検出し、節を回避しながら最大面積を取れるように加工することはこれまで行われてきた。しかし最近はさらなる要求として、木材の水分含有量が少ない部分を検出して加工することで木材の価値を高める動きがある。木材の中心に近い部分が心材と呼ばれ、皮に近い部分が辺材と呼ばれるが、心材は水分含有量が少ないのが特徴であり、そのため耐久性が高く腐朽菌が繁殖しにくいというメリットがある。この水分含有量の検出にハイパースペクトルカメラが用いられる。

検査装置メーカーがしのぎを削って取り組んでいるのが、包装物のシール部の噛み込みの検出である。以下の図のように、包装シール部に噛み込みが発生すると、製品が小売店に届くまでに腐食が発生するので検出が強く求められている。しかし、シール部まで印刷がされている場合が多く(以下はシール部の印刷はないが)、その場合は2次元の画像処理では検出が不可能になる。これまで、2次元画像処理での検出が行われたり、熱圧着させた直後にサーモカメラで温度によって検出したり、3次元カメラで浮きを見ることで検出することが試みられてきた。しかしここ最近になって、ハイパースペクトルによりシール部に内容物の物質を検出する、もしくはシール部の接着剤の物質が全方位に存在するかを検出する、といった物質の検出によるアプローチが検討されている。

可視光でのスペクトル解析の事例

最後に可視光でのスペクトル解析の事例を紹介する。可視光領域では物質の同定は向いていないが、厳密な色味の検査には適している。スマートフォンの色彩性能を確認するために、ディスプレイに赤や青といった決められた色を表示し、それをハイパースペクトルカメラで各波長領域を厳密に計測する。安価なディスプレイ性能の場合は、赤だと表示しているのに鮮やかな赤が実際には表示されていないことが多い。こういった色の再現性テストを製造ラインで全数検査といったニーズまで聞こえてくるようになっている。

以上の事例から見られるように、これまで画像処理で実現できなかった多くの課題が、スペクトル解析によって克服できる世界が広がっていることが理解できるだろう。ハイパースペクトルカメラを用いたスペクトル解析は、これまで研究用途や航空宇宙といった分野に限られていたが、それをマシンビジョンの分野に適応する動きが加速している。それを可能としたのがコスト削減である。次号では実際にマシンビジョン分野でどのようなハイパースペクトル、マルチスペクトルカメラが存在し、それがどのようにコスト削減を実現し、マシンビジョンの分野に受け入れられようとしているのかを解説する。

著者紹介

村上慶(むらかみ けい)/株式会社リンクス 代表取締役

1996年4月、筑波大学入学後、在学中の1999年4月、オーストラリアのウロンゴン(Wollongong)大学に留学、工学部にてコンピュータ・サイエンスを学ぶ。2001年3月、筑波大学第三学群工学システム学類を卒業後、同年4月、株式会社リンクスに入社。主に自動車、航空宇宙の分野における高速フィードバック制御の開発支援ツールであるdSPACE(ディースペース、ドイツ)社製品の国内普及に従事し、国内の主要製品となる。2003年、同社取締役、2005年7月、同社代表取締役に就任。

同社代表取締役に就任後は、画像処理ソフトウエアHALCON(ハルコン、ドイツ)を国内シェアトップに成長させ、産業用カメラの世界的なリーディングカンパニーであるBasler(バスラ―、ドイツ)社と日本国内における総代理店契約を締結するなど、高度な技術レベルと高品質なサービスをバックボーンとした技術商社として確固たる地位を築く。次のビジネスの柱として2012年7月にエンベデッドシステム事業部を発足し、3S-SmartSoftware Solutions(スリーエス・スマート・ソフトウェア・ソリューションズ、ドイツ) 社の国内総代理店となる。