雑誌やWebなどの写真編集の現場での写真データの編集の現場において、Adobe Photoshopなどに代表されるような「写真編集アプリケーション」が広く用いられているのは御存知でしょうか。そういった現場では、これらの写真編集アプリケーションを用いて、例えばレタッチ処理でタレントの写真を綺麗に印象の良いものに加工したり、風景画像からノイズ部分を除去したり、写真中の不要なものを除去して写真構成を変えたりなど、「元画像を綺麗で印象の良いものに加工する」目的の各種編集作業が行われています。

同様にテレビ番組や映画・ゲームの制作現場などにおいて、「Final Cut Pro」や「Adobe Premium Pro」といった「動画編集アプリケーション」も広く用いられています。以前紹介した入力した動画の解像度を上げてリッチな高解像度映像に編集する超解像処理や、同じく以前、紹介したStructure from Motionにより3次元カメラ移動量と3次元シーン構造を計算し、その計算した3D空間+カメラ配置に一致したCGを重ね合わせたり、モーションブラーの補正やカメラモーションの補正である手ブレ補正(Video Stabilization)を行ったりするなど、「元動画を綺麗で印象の良い物に加工する」目的や「3DCGと違和感なく合成する」といった目的で、動画編集アプリケーションにおいてこれらの技術が用いられています。

かつて、これらの写真・映像編集を行う商用アプリケーションは、高価で多機能であるがゆえに、職業的に用いる機会のない一般の人は使用することがない(もしくは難しくてうまく使いこなせない)のが普通でした。同時に、それらのアプリケーションに組み込まれている、高度で自動的な画像ベースの写真・動画編集技術も、一般の人にはなかなか触れる機会がない存在でした。

しかし、スマートフォン/Webの普及と近年のコンピュータビジョンの急速な発展に伴い、こうした高度な編集技術がデスクトップ、スマートフォンの両方のアプリケーションに提供されることが普通になってきており、画像・映像編集を職業とする人ではなく、一般の消費者でも日常的に高度な画像・映像編集技術を簡単に使用できる機会が増えてきています。特に、最近ではインターネット経由の写真や動画のSNSなどでの共有が一般化し、個人的に画像や写真を編集してそれらをアップロードすることも一般的になりつつあり、今後いっそう高度な映像編集技術が使われる機会が一般の人向けにも増えてくると思われます。こういった現状を踏まえて、今回から、「コンピュータビジョン技術を用いた写真・映像編集技術」を順番に紹介していきます。

今回から、以下のような映像編集技術を紹介して行こうと思います。

  • パノラマ画像生成(Image Stitching)
  • インペインティング(Inpainting)
  • リターゲティング(Retargating)
  • モーション推定を用いた映像安定化(Video Stablization)

「パノラマ画像生成」は、複数の入力画像からそれらをつなぎ合わせた一枚の画像を作成する処理です。この処理は俗に「モザイキング」とも呼ばれます。「インペインティング」は、画像中の特定の領域のみを自然な形で消し去る技術です。例えば画像に写っている人物の領域だけ消し去って、背景画像から似たような領域を自動的に移動してくることで、人物領域を取り除いてしかも背景画像により消した人物の領域も綺麗に補間された画像を自動作成することができます。「リターゲティング」は画像のサイズ変更した時に、特定の目立つ領域は元画像での写り具合や大きさをなるべく保ち、それ以外の部分は目立たないように消したり編集することで、元画像のシーン配置を保って重要なところの写り方を保ったままサイズ変更する技術です。そして、「映像安定化」は、俗にブレ補正と呼ばれるような、カメラが震えてブレてしまって撮影された映像を、カメラの動きや撮影対象の動き具合をモーション推定することでなるべく消して、安定したカメラブレの起こっていない映像をつくり出す編集技術です。

それでは、次回から各技術の詳細について順番に紹介していきましょう。