【連載】

機械の目が見たセカイ -コンピュータビジョンがつくるミライ

23 一人称視点(1) - 概要

23/44

今回から、頭部に装着することができるウェアラブルカメラで撮影する一人称視点映像に関する技術についてご紹介していきます。一人称視点は、英語ではFirst-person vision、またはEgocentric visionと呼ばれています。

一人称視点映像

一人称視点映像を撮影するためのカメラは、「GoPro Hero」が最も有名でしょう。国内のメーカーでは、ソニーが「アクションカム(Action Cam)」、パナソニックが「ウェアラブルカメラ(Wearable Camera)」、オリンパスが「STYLUS TG-Tracker」を製品化しています。スタートアップ企業では、視線トラッカー機能付きの一人称視点カメラを開発しているPupil Labs、画像認識用の小型コンピューターを備えたウェアラブルビジュアルシステムを開発しているOrCamなどがあります。また、Snapchatが10秒動画を撮影できるサングラス型の「Spectacles」を発売すると発表しました。

これらのカメラで撮影すると動画1のような映像が得られます。頭部の動きに合わせてカメラが動くため、カメラ装着者が見た景色を連続的に撮影することができます。

<動画1 一人称視点映像の例>

一人称視点映像でできること

壁などに固定されたカメラと異なり、ウェアラブルカメラを用いることで日常生活や旅行中など広範囲にわたる映像を常時撮影することができます。しかし、ウェアラブルカメラで常時撮影した動画は膨大なデータ量となってしまいます。動画が長くなればなるほど、動画を見たり、編集したりするために長い時間を要します。そこで、カメラ装着者自身の動作(Ego-Action)を自動で認識して、長時間撮影した映像の各瞬間がどのようなシーンかを自動的にインデクシングする技術があります(動画2)。

<動画2 Ego-Action認識によるvideo indexing>

また、グループで行動している場合は、人とのインタラクションを検出、識別することができます。動画3の例では、グループでディズニーランドに行った際の一人称視点映像から、1対1で会話しているシーン、一人が複数人に話しているシーン、複数人で議論しているシーンなどを自動で検出、識別しています。

<動画3 人と人のインタラクションの解析>

さらに、一人称視点カメラは、カメラ装着者の頭部が向いている方向の映像を撮影できるため、どこを注視していたか(Attention)を解析することができます。動画4では、一人称視点映像中のどの領域が人々の注目を集めているかを推定しています。

<動画4 Attentionの解析>

このように一人称視点(First-person vision、Egocentric vision)では、カメラ装着者の動きに合わせて、屋外などの広範囲にわたる映像を常時撮影することができ、いつ、どこで、何をやったかを分析・記録することができます。プライバシーやバッテリーの課題があり常時撮影するまでには至っていませんが、警察や警備員、工場や工事現場など用途を限定すれば旅行時の撮影以外にもいろいろと応用先はあるのではないでしょうか。

著者プロフィール

樋口未来(ひぐち・みらい)
日立製作所 日立研究所に入社後、自動車向けステレオカメラ、監視カメラの研究開発に従事。2011年から1年間、米国カーネギーメロン大学にて客員研究員としてカメラキャリブレーション技術の研究に携わる。

日立製作所を退職後、2016年6月にグローバルウォーカーズ株式会社を設立し、CTOとして画像/映像コンテンツ×テクノロジーをテーマにコンピュータビジョン、機械学習の研究開発に従事している。また、東京大学大学院博士課程に在学し、一人称視点映像(First-person vision, Egocentric vision)の解析に関する研究を行っている。具体的には、頭部に装着したカメラで撮影した一人称視点映像を用いて、人と人のインタラクション時の非言語コミュニケーション(うなずき等)を観測し、機械学習の枠組みでカメラ装着者がどのような人物かを推定する技術の研究に取り組んでいる。

専門:コンピュータビジョン、機械学習

23/44

インデックス

連載目次
第44回 ディープラーニングの基礎(3) - 回帰・2クラス分類・多クラス分類の出力層
第43回 ディープラーニングの基礎(2) - 活性化関数
第42回 ディープラーニングの基礎(1) - ニューラルネットワークとは
第41回 領域分割(4) – CNNによるSemantic Image Segmentation
第40回 ハードウェアの基礎知識(4) - GPGPU
第39回 ハードウェアの基礎知識(3) - レンズ
第38回 ハードウェアの基礎知識 (2) - 電子シャッター
第37回 コンピュータビジョン分野で活躍する企業・フリーランサー インタビュー(3)
第36回 領域分割(3) - CRFを用いたSemantic Image Segmentation
第35回 領域分割(2) - Mean Shift法を用いたImage Segmentation
第34回 領域分割(1) - 概要編
第33回 見えないものを観る(3) - 目に見えない光「赤外線」を観る
第32回 見えないものを観る(2) - 絵画の下書きを観る
第31回 見えないものを観る(1) - 映像から音を復元する
第30回 動く人・物を追跡する(4) - OpenCVのトラッキング手法(後編)
第29回 動く人・物を追跡する(3) - OpenCVのトラッキング手法(中編)
第28回 動く人・物を追跡する(2) - OpenCVのトラッキング手法(前編)
第27回 動く人・物を追跡する(1) - OpenCVによるトラッキング
第26回 インターネット上の画像群からTime-lapse映像を自動生成する手法の概要
第25回 一人称視点(3) - Social Saliency
第24回 一人称視点(2) - Social Interaction
第23回 一人称視点(1) - 概要
第22回 行動認識(3) - Two-stream ConvNets
第21回 行動認識(2) - 動きの特徴量(HOF、MBH)
第20回 行動認識(1) - Dense Trajectories
第19回 視線計測(3) - カメラのみを用いた視線計測
第18回 視線計測(2) - 近赤外の点光源を用いた視線計測
第17回 視線計測(1) - 導入編
第16回 コンピュータビジョン分野における機械学習(4) - Deep Learning
第15回 コンピュータビジョン分野における機械学習(3) - 識別器
第14回 コンピュータビジョン分野における機械学習(2) - 顔検出・人検出
第13回 コンピュータビジョン分野における機械学習(1) - 導入編
第12回 コンピュータビジョン分野の市場分析(1) - 自動車編
第11回 コンピュータビジョン分野で活躍する企業・フリーランサー インタビュー(2)
第10回 カメラを用いた3次元計測(4) - Structure from Motion
第9回 カメラを用いた3次元計測(3) - サブピクセル推定
第8回 カメラを用いた3次元計測(2) - ステレオカメラ
第7回 コンピュータビジョン分野で活躍する企業・フリーランサー インタビュー(1)
第6回 カメラを用いた3次元計測(1)
第5回 意外と知らないカメラキャリブレーション
第4回 ハードウェアの基礎知識
第3回 コンピュータビジョンの要素技術と応用範囲(後編)
第2回 コンピュータビジョンの要素技術と応用範囲(前編)
第1回 普及期に入ったコンピュータビジョン

もっと見る



人気記事

一覧

イチオシ記事

新着記事