富士通研究所は3日、指で直観的に操作が可能な次世代ユーザーインタフェース技術を開発したと発表した。実世界の物に対する手指の位置やタッチなどの操作を汎用のカメラを用いて高精度・高速に検出する技術を開発。汎用のプロジェクタと組み合わせることで、テーブルの上の書類を指でなぞって電子データとして取り込んだり、触った物にプロジェクタで情報を表示したりすることができる。

富士通研究所の担当者によるデモ

リアルなユーザーインタフェースを実現する試みとして、実物に触る、動かすなどの動作を用いることが提案されているが、これまでは特殊なセンサーを物に埋め込む必要があり、実用化に向けて大きな課題となっていた。

実物へのタッチ操作などを非接触で検出できれば、特殊なセンサーを物に埋め込む必要はない。しかし、現在実用化されているジェスチャー操作は、空間での操作が前提となっており、背景となる物と手が近づいた状態では、手と背景が混在して検出されるという問題があり、タッチ操作の検出には不向きである。

また、赤外線などの特殊デバイスを用いて、距離を計測する技術がユーザーインタフェースに活用されているが、手指の操作を細かく検出できるほどの分解能はなく、装置も大型でコストも高いという課題があった。

今回開発した技術は、実世界の物に対する手指の操作を汎用のカメラを用いて高精度・高速に検出する技術で特徴は以下の通り。

実空間とICT空間の座標認識・変換技術、実世界(テーブル)の凹凸形状をカメラで自動計測し、カメラ座標系、プロジェクタ座標系、実世界座標系を自動調整する技術を開発。これにより、指の動きや物へのタッチとプロジェクション表示を正確に合わせることを可能にした。

実空間とICT空間の座標認識・変換技術

手指の色と輪郭の特徴を抽出して手指の形状を認識する技術を開発。また、周囲の環境光に応じたカメラ画像の色や明るさの制御、手指の色の個人差を補正する技術により、設置環境や個人差の影響の少ない安定した手指の抽出を実現した。

手指認識の安定化技術

汎用のWebカメラなどで得られる低解像度の画像でも、指先の画像を補間することでタッチ検出に必要な精度を実現。また、指の自然な動きにも追従するように、毎秒300ミリメートルの指先追跡速度を実現した。

指先の高精度・高速な認識技術

今回開発した技術を用いることで、例えばテーブルの上の書類を指でなぞって必要な箇所を電子データとして取り込んだり、取り込んだデータをテーブルに表示して拡大や縮小などの操作が可能。また、手書きの付箋紙をテーブルに貼り付けて画像データとして読み取り、画像化された電子付箋を指で移動させたり、グルーピングするなどの操作が可能。これらのように、実世界での人の操作とICTサービスを連携させることが容易に実現可能となり、ICTの利用シーン拡大に貢献。

同研究所では、今回開発したアプリケーション、システムを実際の使用環境に適用する評価を進め、2014年度中の実用化を目指す。