Time-lapseという言葉をご存知でしょうか? 一定間隔で写真を撮影し、それらをつなぎ合わせて作成した映像です(動画1)。雲がものすごく早く流れ、一気に日が暮れていく映像、植物が瞬く間に成長する映像などがそれです。

Time-lapseは、カメラを固定して一定間隔で撮影するのが一般的ですが、SIGGRAPH 2015でインターネット上の画像群から自動的にTime-lapse映像を生成する研究が発表されました。今回はその、Time-lapse Miningという技術について紹介したいと思います(参考文献: Ricardo Martin-Brualla, David Gallup and Steve M. Seitz, “Time-lapse Mining from Internet Photos”, ACM SIGGRAPH 2015)。

＜動画1 Time-lapse映像＞

処理の流れ

図1はTime-lapse miningの一例です。多数の人が、さまざまな角度から、長年にわたって撮影しインターネット上にアップした写真から、たとえばノルウェーの氷河がどのように変化したかが一目でわかるTime-lapse映像を生成することができます。

図1 Time-lapse Miningの結果の一例

処理の流れは下記のとおりです。

  • Step1: インターネット上の画像をクラスタリングし、同一のランドマークを含むクラスタに分類する
  • Step2: 写真の撮影日時(Timestamp)をもとに、時系列順に画像を並べる
  • Step3: 第10回の記事で紹介したSfM(Structure from Motion)により3次元再構成を行う(図2)。

図2 3次元再構成の結果
  • Step4: 基準とする画像(Reference Image)の視点に、その他の画像の視点をSfMにより求めた3次元再構成結果を用いて変換する
  • Step5: 照明条件やオクルージョン(物体で隠れてしまって見えない領域)を補正する

処理の結果

実験では8600万枚のインターネット上の画像から、2942個のランドマークのTime-lapse映像を合計10728個生成することに成功しています(動画2)。この技術が実用レベルになれば、身近なランドマークのTime-laps映像を手軽に楽しむことができるようになるかもしれません。また、インターネット上の画像群の代わりに、自分で長年取り溜めた撮影時間、撮影角度の異なるお気に入りの場所の写真から、Time-lapse映像を手軽に作成することができるでしょう。

＜動画2 8600万枚のインターネット上の画像から、2942個のランドマークのTime-lapse映像を合計10728個生成することに成功＞

著者プロフィール

樋口未来(ひぐち・みらい)
日立製作所 日立研究所に入社後、自動車向けステレオカメラ、監視カメラの研究開発に従事。2011年から1年間、米国カーネギーメロン大学にて客員研究員としてカメラキャリブレーション技術の研究に携わる。

日立製作所を退職後、2016年6月にグローバルウォーカーズ株式会社を設立し、CTOとして画像/映像コンテンツ×テクノロジーをテーマにコンピュータビジョン、機械学習の研究開発に従事している。また、東京大学大学院博士課程に在学し、一人称視点映像(First-person vision, Egocentric vision)の解析に関する研究を行っている。具体的には、頭部に装着したカメラで撮影した一人称視点映像を用いて、人と人のインタラクション時の非言語コミュニケーション(うなずき等)を観測し、機械学習の枠組みでカメラ装着者がどのような人物かを推定する技術の研究に取り組んでいる。

専門:コンピュータビジョン、機械学習