富士通研究所と中国・富士通研究開発中心は5月20日、PCやタブレットなどに搭載された単眼のカメラで撮影した映像から、上下・左右方向の手の動きだけでなく、奥行き方向の手の動きも検知する3次元ハンドジェスチャー認識技術を開発したことを発表した。単眼カメラが利用できるため、装置を安価に構築できることも特徴とのことだ。

従来のハンドジェスチャー認識技術は、マウスのカーソル移動に相当する上下・左右方向の手の動きは検知できたが、クリック操作に相当する手を前に押し出す動きの検知は困難だったという。

今回、富士通研究所らは、手のひらモデルを基に正確・高速に手の領域を検出する技術と、手の奥行き方向の動きを検知する技術を開発することで、直感的な動作である「押す」ジェスチャーによるクリック操作を実現した。

今回開発した技術により、奥行きのジェスチャーを認識することができる

この技術によって、PCなどから離れた場所でも、メニューの選択を上下の手振りで、メニューの決定を押す手振りで行ったり、地図などの画像の拡大・縮小を押す・引くという手振りで行ったり、複雑な操作をハンドジェスチャーで実行できるようになる。

開発した技術は、撮影した画像からまず手の検出を行い、画像をあるブロックサイズごとに切り出し、その中にあらかじめ登録してある手の特徴データ(手のひらモデル)が存在するかを算出する。この操作をブロックの位置とサイズを変えながら画像全体に対して実施することで手の位置とサイズを特定する。

次に、手を検出した位置とサイズにおいて、最も手の形を表現するように部分的に色の閾値を変えながら手の領域を抽出する。これらの操作によって、手の領域の安定した検出を実現した。

奥行きについては、時々刻々と変化する手の大きさ、角度、中心位置を手の動きの連続性を用いて高精度に推定し、「押す」「引く」の動作を約90パーセントの精度で検知するという。