手ぶれ映像を撮影後に補正する技術「Hyperlapse」 - 阿久津良和のWindows Weekly Report

先週は、Xbox Oneの次期アップデートによるDLNAのサポートや、「Kinect for Windows v2センサー」によるアバター作成といった興味深い話題があったが、今回はMicrosoft Researchの研究プロジェクト「Hyperlapse」に関するレポートをお送りする。

映像を分析して再構築する「Hyperlapse」

「Windows Essential 2012」に含まれる「Movie Maker 2012」は、撮影後の映像に対して手ぶれ補正を加える機能を備えている。しかし、このユニークな機能も、MicrosoftがWindows Liveブランドを廃止したため、今後の改善は期待できない。ところが、同社の研究機関であるMicrosoft Researchでは、さらなる手ぶれ補正の研究が続けられていた。

「Hyperlapse」と呼ばれる研究は、Movie Maker 2012のように動画を解析して、映像の安定化を図るための技術である。Microsoft ResearchのJohannes Kopf氏は、「友人にベースキャンプから頂上までの道のりを視覚的に体験してほしかった。だが、5時間の動画は早送りしても見るに堪えない。カメラのわずかな動きが映像の"ブレ"を増幅させてしまった。これがhyperlapseの始まりだ」と公式ブログで述べている。その内容を静止画で説明するのは少々難しいため、まずは同氏がYouTubeに公開している動画を見ていただきたい。

20秒あたりから未加工のビデオが始まる。左側には街を走っている映像、右側には登山シーンが流れる。そして43秒あたりからはHyperlapseの処理結果に切り替わり、非常にスムーズな映像となる。視点があまり変化しない様子は、FPSゲームをプレイしているようである。

ちょっと不思議な感覚だが、先の公式ブログ記事はHyperlapseの仕組みを次のように説明している。一般的なデジタルカメラに搭載された動画安定化機能は、フレームとフレームをスムーズにするため、周辺ピクセルをクロップすることが多い。だが、それでは登山中に撮影した映像のように、乱暴に揺れる動画には適用できない。

そこでHyperlapseは、撮影済みの動画を距離や角度を踏まえて分析し、再構成する。続いてスムーズなカメラ経路を計算しながら、複数のビデオフレームをピクセル単位で縫い合わせる。そして最後にレンダリングを行うという仕組みだ。

ブログ記事を書いたDavid Chen氏は「(Hyperlapseは)人の代わりに死角を埋めて脳に影響する『幻覚』に似ている」と説明している。もちろん、Hyperlapseによる映像処理を単一のPCで行うのは現実的ではなく、複数のPCを結合したコンピュータークラスターで行っているそうだ。Kopf氏は「Hyperlapseはまだ完成してはいない。さらなる中間処理の簡易化や高速化を目指し、最終的には個人レベルで利用できるようにしたい」と述べている。

Microsoft Researchの研究結果という背景があってこそ、Movie Maker 2012の手ぶれ補正のような機能が実装されてきたのだろう。我々がHyperlapseを使用と可能なる日を楽しみにしたい。

阿久津良和(Cactus)