【連載】

機械の目が見たセカイ -コンピュータビジョンがつくるミライ

26 インターネット上の画像群からTime-lapse映像を自動生成する手法の概要

26/35

Time-lapseという言葉をご存知でしょうか? 一定間隔で写真を撮影し、それらをつなぎ合わせて作成した映像です(動画1)。雲がものすごく早く流れ、一気に日が暮れていく映像、植物が瞬く間に成長する映像などがそれです。

Time-lapseは、カメラを固定して一定間隔で撮影するのが一般的ですが、SIGGRAPH 2015でインターネット上の画像群から自動的にTime-lapse映像を生成する研究が発表されました。今回はその、Time-lapse Miningという技術について紹介したいと思います(参考文献: Ricardo Martin-Brualla, David Gallup and Steve M. Seitz, “Time-lapse Mining from Internet Photos”, ACM SIGGRAPH 2015)。

<動画1 Time-lapse映像>

処理の流れ

図1はTime-lapse miningの一例です。多数の人が、さまざまな角度から、長年にわたって撮影しインターネット上にアップした写真から、たとえばノルウェーの氷河がどのように変化したかが一目でわかるTime-lapse映像を生成することができます。

図1 Time-lapse Miningの結果の一例

処理の流れは下記のとおりです。

  • Step1: インターネット上の画像をクラスタリングし、同一のランドマークを含むクラスタに分類する
  • Step2: 写真の撮影日時(Timestamp)をもとに、時系列順に画像を並べる
  • Step3: 第10回の記事で紹介したSfM(Structure from Motion)により3次元再構成を行う(図2)。

図2 3次元再構成の結果

  • Step4: 基準とする画像(Reference Image)の視点に、その他の画像の視点をSfMにより求めた3次元再構成結果を用いて変換する
  • Step5: 照明条件やオクルージョン(物体で隠れてしまって見えない領域)を補正する

処理の結果

実験では8600万枚のインターネット上の画像から、2942個のランドマークのTime-lapse映像を合計10728個生成することに成功しています(動画2)。この技術が実用レベルになれば、身近なランドマークのTime-laps映像を手軽に楽しむことができるようになるかもしれません。また、インターネット上の画像群の代わりに、自分で長年取り溜めた撮影時間、撮影角度の異なるお気に入りの場所の写真から、Time-lapse映像を手軽に作成することができるでしょう。

<動画2 8600万枚のインターネット上の画像から、2942個のランドマークのTime-lapse映像を合計10728個生成することに成功>

著者プロフィール

樋口未来(ひぐち・みらい)
日立製作所 日立研究所に入社後、自動車向けステレオカメラ、監視カメラの研究開発に従事。2011年から1年間、米国カーネギーメロン大学にて客員研究員としてカメラキャリブレーション技術の研究に携わる。

日立製作所を退職後、2016年6月にグローバルウォーカーズ株式会社を設立し、CTOとして画像/映像コンテンツ×テクノロジーをテーマにコンピュータビジョン、機械学習の研究開発に従事している。また、東京大学大学院博士課程に在学し、一人称視点映像(First-person vision, Egocentric vision)の解析に関する研究を行っている。具体的には、頭部に装着したカメラで撮影した一人称視点映像を用いて、人と人のインタラクション時の非言語コミュニケーション(うなずき等)を観測し、機械学習の枠組みでカメラ装着者がどのような人物かを推定する技術の研究に取り組んでいる。

専門:コンピュータビジョン、機械学習

26/35

インデックス

連載目次
第35回 領域分割(2) - Mean Shift法を用いたImage Segmentation
第34回 領域分割(1) - 概要編
第33回 見えないものを観る(3) - 目に見えない光「赤外線」を観る
第32回 見えないものを観る(2) - 絵画の下書きを観る
第31回 見えないものを観る(1) - 映像から音を復元する
第30回 動く人・物を追跡する(4) - OpenCVのトラッキング手法(後編)
第29回 動く人・物を追跡する(3) - OpenCVのトラッキング手法(中編)
第28回 動く人・物を追跡する(2) - OpenCVのトラッキング手法(前編)
第27回 動く人・物を追跡する(1) - OpenCVによるトラッキング
第26回 インターネット上の画像群からTime-lapse映像を自動生成する手法の概要
第25回 一人称視点(3) - Social Saliency
第24回 一人称視点(2) - Social Interaction
第23回 一人称視点(1) - 概要
第22回 行動認識(3) - Two-stream ConvNets
第21回 行動認識(2) - 動きの特徴量(HOF、MBH)
第20回 行動認識(1) - Dense Trajectories
第19回 視線計測(3) - カメラのみを用いた視線計測
第18回 視線計測(2) - 近赤外の点光源を用いた視線計測
第17回 視線計測(1) - 導入編
第16回 コンピュータビジョン分野における機械学習(4) - Deep Learning
第15回 コンピュータビジョン分野における機械学習(3) - 識別器
第14回 コンピュータビジョン分野における機械学習(2) - 顔検出・人検出
第13回 コンピュータビジョン分野における機械学習(1) - 導入編
第12回 コンピュータビジョン分野の市場分析(1) - 自動車編
第11回 コンピュータビジョン分野で活躍する企業・フリーランサー インタビュー(2)
第10回 カメラを用いた3次元計測(4) - Structure from Motion
第9回 カメラを用いた3次元計測(3) - サブピクセル推定
第8回 カメラを用いた3次元計測(2) - ステレオカメラ
第7回 コンピュータビジョン分野で活躍する企業・フリーランサー インタビュー(1)
第6回 カメラを用いた3次元計測(1)
第5回 意外と知らないカメラキャリブレーション
第4回 ハードウェアの基礎知識
第3回 コンピュータビジョンの要素技術と応用範囲(後編)
第2回 コンピュータビジョンの要素技術と応用範囲(前編)
第1回 普及期に入ったコンピュータビジョン

もっと見る



人気記事

一覧

イチオシ記事

新着記事