産業技術総合研究所(産総研)は8月2日、鹿児島大学、広島市立大学の協力を得て、運動・変形する物体表面の形状を高速・高精度・高密度に計測する手法を開発したと発表した。

成果は、産総研 知能システム研究部門 サービスロボティクス研究グループの佐川立昌 研究員、鹿児島大学大学院 理工学研究科(工学系) 情報生体システム工学専攻の川崎洋 教授、広島市立大学大学院 情報科学研究科 知能工学専攻の古川亮 准教授、同青木広宙 特任准教授らの研究グループによるもの。

なお、この技術の詳細は、2012年8月6日～8日に福岡で開催される第15回画像の「認識・理解シンポジウム(MIRU)」及び2012年8月28日～9月1日に米国サンディエゴで開催される「The34th Annual International Conference of the IEEE Engineering in Medicine and Biology Society(EMBC2012)」で発表される予定だ。

昨今、ダイナミックに変化する対象の3次元シーンの計測が注目されている。例えば、マイクロソフトの家庭用ゲーム機Xbox 360用周辺機器「Kinect」のように、人物を瞬時に計測してその動きを解析することで、デバイスの装着がいらない機器が成功を収めている。

また、そのような製品を自律移動・動作する2足歩行ロボットやロボットアームの目として利用する研究も進められており、計測対象あるいは計測者が動く動的シーン計測の重要性が強く認識されるようになってきている状況だ。

しかし現在、このような用途で動いている物体を計測するセンサは、撮影できるフレームレートが限定的(～30コマ/秒)で、精度や密度に関してもさまざまな測定を行う上で十分といえるものではなかった。高速・精密な形状計測を同時に実現することができれば、医療応用や流体解析など、3次元形状計測技術の応用範囲が格段に広がると考えられる。

今回開発された手法は、プロジェクタなどの光源からパターン光を投影し、カメラで撮影したパターンを画像処理することで、撮影した物体の3次元表面形状を計測する(画像1)。撮像された瞬間の1枚の画像だけでその形状を得ることができるため、高速度カメラを用いれば、高速に運動・変形する対象の表面形状の連続的な測定も可能である。画像2は、カメラとプロジェクタの配置例だ。

画像1。波線格子パターンの投影による動作の計測(上段:入力画像/下段:形状計測結果)

画像2。プロジェクタとカメラを用いた計測システム

この技術は、まず、対象とする物体に、画像2の左に示すような縦・横の波線からなる格子パターンを投影。続いて、画像処理によって物体表面に投影された波線を検出し、線がどのようにつながっているかを示す交点グラフを作成する。

各交点は、投影したパターンと撮影したカメラ画像で1対1に対応するので、交点の組み合わせを最適化し、投影パターンと画像の各交点の対応を決定。対応が決まれば、三角測量によって交点の3次元位置を計測できる仕組みだ。そして最後に、画像のすべての画素について交点を補間し、計算した形状が画像と一致するように最適化し、高密度な形状を生成する。

画像3は手法の流れを説明したもの。画像4は左から、入力画像、線検出によって生成した交点グラフ、交点の3次元位置を計算した結果、すべての画素について3次元位置を計算して得られた形状である。

画像3。手法の流れ

画像4。3次元位置を計算した結果

単一の画像から表面形状を復元するため、撮像の各瞬間の形状計測を行えるのが特徴だ。特に、高速度カメラを使って高速に変化する事象を計測できるという点が大きい。

なお画像5は、水面にパターン投影できるようにした水槽の中で波を起こし、その形状変化を計測したものである。250コマ/秒で撮影することで、複雑に変化する波の形状をとらえることができる。

また画像6は、バットでボールを打った瞬間のボールの形状変化を2000コマ/秒の高速度で撮影して計測した結果だ。ボールがバットに接している時間は短いが、ボールが潰れている様子がよくわかる。

そのほかにも画像7のようなじゃんけん動作なども簡単に計測可能。従来のモーションキャプチャシステムでは計測が困難な、衣服のしわや、手の細かな形状も計測できている。

画像5。水面の波の計測(左:入力画像/右:形状計測結果 斜め上視点、横視点)

画像6。ボールヒッティングの計測(左:入力画像/右上段:上方視点から見た形状計測結果/右下段:形状に画像を貼った結果)

画像7。じゃんけん動作の計測(上段:入力画像/下段:形状計測結果)

従来のモーションキャプチャシステムでは数10点の位置を計測するのに対し、今回の技術では、数万点の位置を高密度に計測でき、その差は非常に大きい。また、市販ゲームに用いられているあるセンサでは、1～2cmの誤差があるのに対し、この技術では1～2mmの誤差と高精度である点も優れている点の1つだ。

今回の技術は、固定した格子パターンの投影により形状計測を行える仕組みである。その単純さにより、同じ技術を異なる機器に柔軟に適用可能だ。その例として、立体視できる顕微鏡を使って極小領域にパターン光を投影するステムを構築し、顕微鏡画像から形状を計測するということもできる(画像8)。パターンは約0.05mm間隔で投影されており、米国1セント硬貨に描かれた横顔の凹凸が1枚の画像から計測できることがわかるはずだ。

画像8。顕微鏡画像を使った米国1セント硬貨形状計測(中右:入力画像/右:形状計測結果)

さらに、今回の計測法の医療分野への応用の1つに、非接触心拍計測がある。従来心拍計測には心電図計が広く使われているが、体表に電極を設置する必要があるため、被験者への負担・拘束感や電極が不意に外れることが問題となっていた。

それに対して今回の技術を使うことで、非接触で計測できるので、これらの問題点を解決できるというわけだ。さらに、拍動情報を面的にとらえられるので、新たな心疾患スクリーニング手法への展開まで期待されるのである。

画像9は、胸部を100コマ/秒で計測し、その形状変化から心拍周期を抽出したものだ。心電図計と比較すると、波形のピーク間隔について相関を持つことから非接触で心拍が計測できることがわかるのである。

画像9。形状計測を応用した非接触心拍計測

研究グループは、今回開発された計測手法について、マルチメディア、医療、スポーツ、材料解析など従来、形状変化が起こるために形状の計測が十分に行われていなかったさまざまな分野への応用を進めるなど、同計測手法の応用範囲を広げていく予定とした。

また、今後は計算機の性能を向上させ、撮影しながら形状を得るリアルタイム計測を目指していることもコメント。高速・精密な形状計測をリアルタイムに行うことが可能となれば、現在多くの企業が開発に取り組んでいる、ナチュラルインタフェースにブレークスルーをもたらす技術となるだろうとしている。