視線計測(3) - カメラのみを用いた視線計測

視線推定手法は、近赤外の点光源(LED)を用いた手法と、カメラのみを用いて通常の画像から視線を推定する手法の2つに大別できます。今回は、カメラのみを用いて画像処理により視線を推定する手法をいくつかご紹介します。

目頭等を用いた手法

目を至近距離から撮影できる場合は、図1のように高解像な目画像を用いることができます。目頭等を含む目全体の画像が利用できる場合は、前回紹介した赤外線を用いた手法のプルキニエ像の代わりに、目頭等を基準点として視線を計測することができます(図2)。

たとえば、外側を見た際は、目じり側に虹彩が移動します。逆に内側を見た場合は、目頭側に虹彩が移動します。この目頭と虹彩の相対的な位置関係から視線方向を推定することができます。

プルキニエ像の代わりに目頭を用いるため、赤外線を照射するLEDが必要ないというメリットがある一方で、赤外線を照射するLEDを用いた手法に比べ、精度が出難いと言われています。

楕円パラメータを用いた手法

楕円パラメータを用いた手法では、まず瞳孔を検出し、瞳孔の輪郭を楕円で近似します。楕円パラメータと視線方向には相関があるため、図3のように求めた楕円パラメータから視線を計測することができます。

この手法では、楕円が円形に近いときに精度が低いという欠点があります。

機械学習を用いた手法

今までは、高解像度な目画像が利用できる場合の手法を紹介してきましたが、「顔全体が写っている画像から視線を計測したい」という場合もあります。顔全体が写っている画像の目の領域は、図4のように解像度が低く、瞳孔形状の楕円フィッティングや、瞳孔の座標計算などが不安定となってしまいます。

このような画像から視線を推定する手法として、機械学習を用いた手法が提案されています。連続値である視線を推定するためには、2クラスの識別ではなく、回帰(Regression)を行う必要があります。手法としては、Support Vector Regressionや、Random ForestによるRegression等を用いることができます。このアプローチの欠点は、学習用データとして、さまざまな人が、さまざまな方向を見た目画像が必要になることです。最近では、3次元計測が可能なKinect等のDepth Cameraを用いて3次元の目画像を撮影し、その3次元の目画像から大量の学習用データを生成することで、高精度な視線推定が可能になってきています。

「目は口程に物を言う」というくらいですから、視線計測はさまざまな製品、サービスに応用できる可能性があります。興味のある方は、詳しく調べてみてください!

著者プロフィール

樋口未来(ひぐち・みらい)
日立製作所 日立研究所に入社後、自動車向けステレオカメラ、監視カメラの研究開発に従事。2011年から1年間、米国カーネギーメロン大学にて客員研究員としてカメラキャリブレーション技術の研究に携わる。

現在は、日立製作所を退職し、東京大学大学院博士課程に在学中。一人称視点映像(First-person vision, Egocentric vision)の解析に関する研究を行っている。具体的には、頭部に装着したカメラで撮影した一人称視点映像を用いて、人と人のインタラクション時の非言語コミュニケーション(うなずき等)を観測し、機械学習の枠組みでカメラ装着者がどのような人物かを推定する技術の研究に取り組んでいる。また、大学院での研究の傍ら、フリーランスとしてコンピュータビジョン技術の研究開発に従事している。

専門:コンピュータビジョン、機械学習