海外の映画ドラマでよく用いられるマッチムーブを行うクロマキー合成
以下の動画をご覧ください。この動画はアメリカで有名なドラマの各シーンのクロマキー合成の撮影時のブルーシート映像と、合成後の映像を見せてくれている動画です。動画後半にHEROESの名シーン、ヒロが空間移動に初めて成功してニューヨークのタイムズスクエアで「やったー!」というシーンがありますが、これがマッチムーブを用いたクロマキー合成です。
この動画で見られるように、実際のロケ地には行かず、背景がブルースクリーンのスタジオで撮影を行い、あとで背景はCGで合成することが多いのですが、ここでマッチムーブが活躍します。クロマキー合成と言うと、松坂世代以前の方は、日本テレビの「進め! 電波少年!」スタジオのシーンを思い出す方が多いと思いますが、あれはカメラは固定で真っ青なブルーシートの部分を色で検出してそこをCG背景でさしかえているだけだったわけです。一方、この動画のように最近のクロマキー合成では、ブルーシートにバツ印の丸が描かれています。このバツ印の中心がStructure From Motionの特徴点となり、カメラが移動してもマッチムーブで背景を自然に合成することができるのです。
しかし、ブルースクリーンのみのスタジオで演技をする機会が増えたのは役者さんたちは相当大変ですよね。例えば大ヒットした「アバター」も背景がマッチムーブの場面がほとんどで、しかもアバターの場合、顔の表情もキャプチャしながらの撮影なので、顔の前にカメラをつけながらかつスタジオであの撮影を行っていたわけです。
マッチムーブでよく使われるソフトウェア
マッチムーブ処理ができるソフトウェアでは2d3の「boujou」という製品が有名です。boujouはイギリスの有名な研究者Zissermanとその弟子によるマッチムーブの研究からマッチムーブ技術が初めて製品化されたもので、2002年にエミー賞をとるなど実績も十分の映像業界では有名なソフトウェアです。ただし、定価が200万円以上もするそうです。当然価格に見合った高機能で便利なソフトらしいのですが、とても個人で買える代物ではありません
boujouがマッチムーブソフトウェアというジャンルを確立して以降は用途を特化して機能を限定することで価格帯を下げたソフトウェアを各社が提供しています。また、商用使用はできないですが、無料のVoodoo Trackerというソフトウェアも有名です。商用で低価格のソフトウェアでSynth Eyesというものもあります。
マッチムーブによる映像の編集手順
映像を録画した後にマッチムーブソフトウェアで編集することで、その映像中の3次元姿勢とカメラ位置の変化が算出されます。
これにより、例えば映像中の道路の3次元平面の座標や、建物の壁の平面座標などが、カメラの場所も含めて計算することができます。あとは、そのデータをCG作成ソフトウェアに取り込んで、検出した3次元地形とカメラ姿勢をもとに、元の映像には存在していなかったCGを合成すれば完成です。
以下のニコニコ動画の動画で、映像作成の過程が非常にわかりやすく紹介されているので、映像作成の過程が知りたい方は参照ください。
このような手順で、映像作家たちはマッチムーブにより映像中の3次元地形とカメラ変化に一致した合成映像を作ることが可能になっているわけです。
