富士通研、小型カメラとLEDを用いたPCに内蔵可能な視線検出技術を開発

富士通研究所は10月2日、安価で小型のカメラとLEDを用い、PCに内蔵可能な小型視線検出技術を開発したと発表した。

ユーザーの負担が少ない新しいインタフェースとして、ユーザーが見ている場所を把握し、その視線に応じてPCを操作する視線インタフェースが期待されている。

ゴーグルなどを装着せず、非接触で高精度に視線方向の算出が可能な方法として、近赤外LEDとカメラからなる光学系を用いる角膜反射法が知られている。この方法では、カメラで撮影した目の画像を解析することで、視線方向を算出。視線方向によって位置が変わる瞳孔を検出するとともに、目に見えない近赤外光を照射し、それにより生じる眼球の表面(角膜)での反射を検出する。反射の位置は視線方向には影響を受けないので、瞳孔と角膜反射の2つの位置関係から視線方向を算出することができる。しかし、正確に角膜反射と瞳孔の中心を画像から検出する必要があり、従来は高価でサイズが大きい高性能なカメラとLEDを用いる必要があった。

一方、コンシューマ向けPCなどにカメラとLEDを搭載し実用化するには、PC筐体のデザインを損なわないようにそれらを内蔵することが必須であり、かつ低価格で実現することが求められるが、小型カメラやLEDでは、カメラ感度やLED強度が低いことから、目の中の瞳孔が不鮮明になる他、角膜反射も微弱になるという問題があった。このため、撮影した画像から正確に瞳孔や角膜反射を検出して位置を算出することが困難だった。

そこで今回、安価で小型のカメラとLEDを用い、PCに内蔵が可能な小型視線検出技術を開発。PC用の内蔵カメラ(インカメラ)として広く流通している汎用的な小型カメラと、近赤外LEDを用いることで、視線検出部全体を厚さ7mmで実現した。また、カメラで撮影した画像から視線を検出する処理をソフトウェアで行うことで、ハードウェアのコストを最小限に抑えたという。

同技術のポイントは大きく2つ。1つは瞳孔・反射の候補抽出である。小型カメラで撮影した画像を元にソフトウェアで画像処理を行い、瞳孔は目の中で他の部分に比べて暗いこと、角膜反射は逆に他部分に比べて明るいことなどを特徴として、まず目の領域の中から特徴をもつ候補を抽出する。瞳孔は周囲の明るさによってサイズが変動するため、それも考慮して様々なサイズの候補を抽出し、検出漏れを防ぐ。

もう1つは、正しい候補の絞り込み。抽出した候補の中から、カメラ、LED、顔位置との関係や直前の瞳孔サイズなどの整合性のルールを適用し、最も整合性が高い候補を絞り込む。例えば、瞳孔サイズは動画処理において前後の画像間で急激に大きくサイズが変わることは通常ないため、直前の画像と最新の画像で瞳孔サイズの差が大き過ぎないということが1つのルールとなる。これらの処理により、正確に瞳孔と角膜反射を検知し、それらの位置関係から視線方向を算出する。

これらの処理により、悪条件の画像からでも正確に瞳孔と角膜反射の検出が可能になり、視線方向を算出することができるという。

今回開発した技術を用いることで、PC筺体のデザイン性を損なうことなく非接触で人の視線を検出するセンサを内蔵することが可能になる。これにより、見ている場所に応じた画面の自動スクロールやズームなどの新しいインタフェースが実現できることとなる。また、画面のどこを見ているかを検知できるため、ユーザーの興味や関心の把握といった応用も期待できるという。そのため同研究所では、同技術の検証を進め、2012年度中の実用化を目指す方針。また、新しいインタフェースなどの視線検出を活かした応用技術についても、さらなる研究開発を進めていくとしている。