【連載】

コンピュータビジョンのセカイ - 今そこにあるミライ

3 動画編集技術「マッチムーブ」(2)

3/85

海外の映画ドラマでよく用いられるマッチムーブを行うクロマキー合成

以下の動画をご覧ください。この動画はアメリカで有名なドラマの各シーンのクロマキー合成の撮影時のブルーシート映像と、合成後の映像を見せてくれている動画です。動画後半にHEROESの名シーン、ヒロが空間移動に初めて成功してニューヨークのタイムズスクエアで「やったー!」というシーンがありますが、これがマッチムーブを用いたクロマキー合成です。

この動画で見られるように、実際のロケ地には行かず、背景がブルースクリーンのスタジオで撮影を行い、あとで背景はCGで合成することが多いのですが、ここでマッチムーブが活躍します。クロマキー合成と言うと、松坂世代以前の方は、日本テレビの「進め! 電波少年!」スタジオのシーンを思い出す方が多いと思いますが、あれはカメラは固定で真っ青なブルーシートの部分を色で検出してそこをCG背景でさしかえているだけだったわけです。一方、この動画のように最近のクロマキー合成では、ブルーシートにバツ印の丸が描かれています。このバツ印の中心がStructure From Motionの特徴点となり、カメラが移動してもマッチムーブで背景を自然に合成することができるのです。

しかし、ブルースクリーンのみのスタジオで演技をする機会が増えたのは役者さんたちは相当大変ですよね。例えば大ヒットした「アバター」も背景がマッチムーブの場面がほとんどで、しかもアバターの場合、顔の表情もキャプチャしながらの撮影なので、顔の前にカメラをつけながらかつスタジオであの撮影を行っていたわけです。

マッチムーブでよく使われるソフトウェア

マッチムーブ処理ができるソフトウェアでは2d3の「boujou」という製品が有名です。boujouはイギリスの有名な研究者Zissermanとその弟子によるマッチムーブの研究からマッチムーブ技術が初めて製品化されたもので、2002年にエミー賞をとるなど実績も十分の映像業界では有名なソフトウェアです。ただし、定価が200万円以上もするそうです。当然価格に見合った高機能で便利なソフトらしいのですが、とても個人で買える代物ではありません

boujouがマッチムーブソフトウェアというジャンルを確立して以降は用途を特化して機能を限定することで価格帯を下げたソフトウェアを各社が提供しています。また、商用使用はできないですが、無料のVoodoo Trackerというソフトウェアも有名です。商用で低価格のソフトウェアでSynth Eyesというものもあります。

マッチムーブによる映像の編集手順

映像を録画した後にマッチムーブソフトウェアで編集することで、その映像中の3次元姿勢とカメラ位置の変化が算出されます。

これにより、例えば映像中の道路の3次元平面の座標や、建物の壁の平面座標などが、カメラの場所も含めて計算することができます。あとは、そのデータをCG作成ソフトウェアに取り込んで、検出した3次元地形とカメラ姿勢をもとに、元の映像には存在していなかったCGを合成すれば完成です。

以下のニコニコ動画の動画で、映像作成の過程が非常にわかりやすく紹介されているので、映像作成の過程が知りたい方は参照ください。

このような手順で、映像作家たちはマッチムーブにより映像中の3次元地形とカメラ変化に一致した合成映像を作ることが可能になっているわけです。

3/85

インデックス

連載目次
第85回 点群応用(建築編) - LIDARを用いた高精度/広域3Dスキャン
第84回 点群応用(建築編) - 3Dスキャンが活きる建築物の規模
第83回 点群応用(建築編) - 高精度かつ広域な建築物の3Dスキャン
第82回 まだまだ使える人が少ない3D点群処理
第81回 3Dデータで処理を行う利点とは?
第80回 点群データを取得・解析する技術「3D点群」はデプスセンサと何が違うのか?
第79回 動きに反応して映像が変わるインタラクティブなプロジェクションマッピング
第78回 プロジェクションマッピングの原理
第77回 「プロジェクションマッピング」とはどういったものか?
第76回 顔や視線でコントロール
第75回 手や指の動きだけでコントロール
第74回 3Dジェスチャー認識のおおまかな原理
第73回 全身の人物姿勢情報を活用したアプリ例 - 腕の動きからのジェスチャー認識
第72回 Kinectはどのように人物姿勢推定の性能を向上させたのか?
第71回 Kinectの人物姿勢推定手法は学習時にどのような処理を行っているのか?
第70回 どうやってKinectは人体パーツを識別しているのか?
第69回 「人体パーツ識別技術」により実現されているKinect向け人物姿勢推定技術
第68回 まだ完全には解けていない人物姿勢推定の問題
第67回 3D人物姿勢推定の仕組みとナチュラルユーザーインタフェース
第66回 3Dデプスセンサーーを用いた注目の新ベンチャー企業(後編)
第65回 3Dデプスセンサーを用いた注目の新ベンチャー企業(前編)
第64回 アクティブステレオ方式とは違う3D形状の動画計測方式 - ToF形式
第63回 Kinectで3D撮影を行うための条件
第62回 モーションセンサとして見た場合のKinect
第61回 Kinectセンサの動作原理を読み解く
第60回 kinectを用いたビジネスのアイデアを競う「Kinect for Windows Contest」
第59回 Kinectがもたらしたセンシング革命
第58回 Kinectの登場がもたらしたコンピュータビジョン革命
第57回 Kinectなどで使われるデプスセンサを用いた3Dコンピュータビジョン技術
第56回 組込分野でのコンピュータビジョンは使いやすくなったのか(後編)
第55回 組込分野でのコンピュータビジョンは使いやすくなったのか(前編)
第54回 デジタルビデオの安定化処理の注意点
第53回 デジタルビデオの安定化処理の手順
第52回 デジタルビデオの安定化技術の概要
第51回 2種類のオプティカルフローの計算手法
第50回 画素ごと独立した移動量パラメータを割り当てる「オプティカルフロー」
第49回 パラメトリックモーション - 特定の1つの動き表現モデル
第48回 デジタルビデオ安定化技術
第47回 動画に対するシーム・カービング
第46回 メッシュ変形ベースのリターゲティング手法
第45回 重要度マップへの「主観」の追加
第44回 自動作成を行うために用いられることの多い3つの重要度マップ手法
第43回 元画像を「縮小」する時に自然にリサイズする技術 - リターゲティング
第42回 漫画カメラで使われる漫画風画像生成とトゥーンシェーディングの違い
第41回 iPhoneアプリ「漫画カメラ」で使われている画像処理手法その2
第40回 iPhoneアプリ「漫画カメラ」で使われている画像処理手法その1
第39回 iPhoneアプリ「漫画カメラ」に見るコンピュータビジョンの実応用例
第38回 パッチマッチによる画像編集の1つ - リシャッフリング
第37回 パッチ探索をランダムに実行することで高速化を目指す「パッチマッチ」
第36回 インペインティングの手法の1つ - パッチベースの手法
第35回 2つの目的で使われるコンピュータビジョンのインペインティング
第34回 人工知能/ロボット応用で使われるコンピュータビジョン技術(後編)
第33回 人工知能/ロボット応用で使われるコンピュータビジョン技術(前編)
第32回 ホモグラフィ変換における画像間のレジストレーション処理
第31回 張り合わせ先の座標系モデルと移動量の算出
第30回 各画像の「移動量」と「変形量」の算出による特徴点の対応づけ
第29回 キーポイントの検出とSIFT記述子の計算
第28回 パノラマ画像の生成手順
第27回 "画像の張り合わせ"で手軽に作れるようになったパノラマ画像
第26回 身近になったコンピュータビジョン技術を用いた写真・映像の編集技術
第25回 進むステレオカメラのDepth Mapを用いた3D道路表面モデリングの研究
第24回 車線逸脱警告システムにおけるレーン検出の仕組み
第23回 パーティクルフィルタによる観測技術
第22回 前方衝突防止システム - 人物をトラッキングする手法
第21回 前方衝突防止システム - 「平行等位ステレオ」による3次元形状復元
第20回 ビジョンべースの自動車運転手支援システム - 前方衝突防止システム
第19回 MAP推定はどのように行われるのか
第18回 超解像の計算アルゴリズム「MAP推定」
第17回 超解像で高画質化処理を担当する「ボケ補正」
第16回 入力画像が2枚以上(動画)の場合における画像レジストレーション
第15回 1枚画の静止画における画像レジストレーション
第14回 画像の劣化に対する「高解像度化」と「高画質化」のための3つの技術
第13回 超解像における劣化関数で改善すべき2種類の劣化
第12回 高解像かつ高画質の映像を作り出す技術 - 超解像
第11回 「顔検出」を高速化する技術
第10回 顔検出の主流アルゴリズム「Viola-Jones法」
第9回 人間の顔があるかを判断する「顔検出」技術(2) - テンプレートマッチング
第8回 人間の顔があるかを判断する「顔検出」技術(1) - 「顔検出」と「顔認識」
第7回 拡張現実感「AR」(3) - 「ARToolkit」の登場によりARが一気に普及期へ
第6回 拡張現実感「AR」(2) - マーカ有りARとマーカレスARの仕組み
第5回 拡張現実感「AR」(1)
第4回 動画編集技術「マッチムーブ」(3)
第3回 動画編集技術「マッチムーブ」(2)
第2回 動画編集技術「マッチムーブ」(1)
第1回 身近なものとなってきたコンピュータビジョンの世界

もっと見る



関連製品をチェック

人気記事

一覧

イチオシ記事

新着記事