【連載】

機械の目が見たセカイ -コンピュータビジョンがつくるミライ

19 視線計測(3) - カメラのみを用いた視線計測

19/35

視線推定手法は、近赤外の点光源(LED)を用いた手法と、カメラのみを用いて通常の画像から視線を推定する手法の2つに大別できます。今回は、カメラのみを用いて画像処理により視線を推定する手法をいくつかご紹介します。

目頭等を用いた手法

目を至近距離から撮影できる場合は、図1のように高解像な目画像を用いることができます。目頭等を含む目全体の画像が利用できる場合は、前回紹介した赤外線を用いた手法のプルキニエ像の代わりに、目頭等を基準点として視線を計測することができます(図2)。

たとえば、外側を見た際は、目じり側に虹彩が移動します。逆に内側を見た場合は、目頭側に虹彩が移動します。この目頭と虹彩の相対的な位置関係から視線方向を推定することができます。

プルキニエ像の代わりに目頭を用いるため、赤外線を照射するLEDが必要ないというメリットがある一方で、赤外線を照射するLEDを用いた手法に比べ、精度が出難いと言われています。

図1 高解像度な目画像

図2 視線計測の基本原理

楕円パラメータを用いた手法

楕円パラメータを用いた手法では、まず瞳孔を検出し、瞳孔の輪郭を楕円で近似します。楕円パラメータと視線方向には相関があるため、図3のように求めた楕円パラメータから視線を計測することができます。

この手法では、楕円が円形に近いときに精度が低いという欠点があります。

図3 楕円パラメータによる視線推定

機械学習を用いた手法

今までは、高解像度な目画像が利用できる場合の手法を紹介してきましたが、「顔全体が写っている画像から視線を計測したい」という場合もあります。顔全体が写っている画像の目の領域は、図4のように解像度が低く、瞳孔形状の楕円フィッティングや、瞳孔の座標計算などが不安定となってしまいます。

このような画像から視線を推定する手法として、機械学習を用いた手法が提案されています。連続値である視線を推定するためには、2クラスの識別ではなく、回帰(Regression)を行う必要があります。手法としては、Support Vector Regressionや、Random ForestによるRegression等を用いることができます。このアプローチの欠点は、学習用データとして、さまざまな人が、さまざまな方向を見た目画像が必要になることです。最近では、3次元計測が可能なKinect等のDepth Cameraを用いて3次元の目画像を撮影し、その3次元の目画像から大量の学習用データを生成することで、高精度な視線推定が可能になってきています。

図4 低解像度な目画像

「目は口程に物を言う」というくらいですから、視線計測はさまざまな製品、サービスに応用できる可能性があります。興味のある方は、詳しく調べてみてください!

著者プロフィール

樋口未来(ひぐち・みらい)
日立製作所 日立研究所に入社後、自動車向けステレオカメラ、監視カメラの研究開発に従事。2011年から1年間、米国カーネギーメロン大学にて客員研究員としてカメラキャリブレーション技術の研究に携わる。

現在は、日立製作所を退職し、東京大学大学院博士課程に在学中。一人称視点映像(First-person vision, Egocentric vision)の解析に関する研究を行っている。具体的には、頭部に装着したカメラで撮影した一人称視点映像を用いて、人と人のインタラクション時の非言語コミュニケーション(うなずき等)を観測し、機械学習の枠組みでカメラ装着者がどのような人物かを推定する技術の研究に取り組んでいる。また、大学院での研究の傍ら、フリーランスとしてコンピュータビジョン技術の研究開発に従事している。

専門:コンピュータビジョン、機械学習

19/35

インデックス

連載目次
第35回 領域分割(2) - Mean Shift法を用いたImage Segmentation
第34回 領域分割(1) - 概要編
第33回 見えないものを観る(3) - 目に見えない光「赤外線」を観る
第32回 見えないものを観る(2) - 絵画の下書きを観る
第31回 見えないものを観る(1) - 映像から音を復元する
第30回 動く人・物を追跡する(4) - OpenCVのトラッキング手法(後編)
第29回 動く人・物を追跡する(3) - OpenCVのトラッキング手法(中編)
第28回 動く人・物を追跡する(2) - OpenCVのトラッキング手法(前編)
第27回 動く人・物を追跡する(1) - OpenCVによるトラッキング
第26回 インターネット上の画像群からTime-lapse映像を自動生成する手法の概要
第25回 一人称視点(3) - Social Saliency
第24回 一人称視点(2) - Social Interaction
第23回 一人称視点(1) - 概要
第22回 行動認識(3) - Two-stream ConvNets
第21回 行動認識(2) - 動きの特徴量(HOF、MBH)
第20回 行動認識(1) - Dense Trajectories
第19回 視線計測(3) - カメラのみを用いた視線計測
第18回 視線計測(2) - 近赤外の点光源を用いた視線計測
第17回 視線計測(1) - 導入編
第16回 コンピュータビジョン分野における機械学習(4) - Deep Learning
第15回 コンピュータビジョン分野における機械学習(3) - 識別器
第14回 コンピュータビジョン分野における機械学習(2) - 顔検出・人検出
第13回 コンピュータビジョン分野における機械学習(1) - 導入編
第12回 コンピュータビジョン分野の市場分析(1) - 自動車編
第11回 コンピュータビジョン分野で活躍する企業・フリーランサー インタビュー(2)
第10回 カメラを用いた3次元計測(4) - Structure from Motion
第9回 カメラを用いた3次元計測(3) - サブピクセル推定
第8回 カメラを用いた3次元計測(2) - ステレオカメラ
第7回 コンピュータビジョン分野で活躍する企業・フリーランサー インタビュー(1)
第6回 カメラを用いた3次元計測(1)
第5回 意外と知らないカメラキャリブレーション
第4回 ハードウェアの基礎知識
第3回 コンピュータビジョンの要素技術と応用範囲(後編)
第2回 コンピュータビジョンの要素技術と応用範囲(前編)
第1回 普及期に入ったコンピュータビジョン

もっと見る



人気記事

一覧

イチオシ記事

新着記事