動きに反応して映像が変わるインタラクティブなプロジェクションマッピング

「プロジェクションマッピング」の例

最近のプロジェクションマッピングは「建物の正面全体」や大規模な対象に行う、イベント向けのアトラクション要素が高いものがまず有名だと思います。

冒頭紹介した大阪城の物もそうですが、最近話題になったものは、以下の東京駅でのプロジェクションマッピングではないでしょうか。

http://news.mynavi.jp/news/2012/09/22/021/

この記事にて、沢山の投影パターンの画像を見る事ができますが、これらの画像をご覧いただくと「対象の形状を把握したことにより投影できるパターン」がどういうものなのであるかがわかります。具体的には、形状に合わせて左右対称になっているものであったり、部分領域ごとに色•テクスチャを変えたり統一させているものなどです。

例えば以下の投影パターンでは、輪郭境界部分のみを白色が強めに太く強調するというパターンを投影できている様子がわかります。

http://news.mynavi.jp/photo/news/2012/09/22/021/images/041l.jpg

また、以下の投影パターンでは「青、赤、黄」の3色で、各部分領域が色分けされているパターンを投影している用です

http://news.mynavi.jp/photo/news/2012/09/22/021/images/009l.jpg

このように実世界の形状に合わせた映像(パターン)を対象に投影できることが、プロジェクションマッピングの醍醐味であり、平凡な平面スクリーンへの映像投影との一番の違いになると思います。同時に製作するデザイナーやアーティストの腕の見せ所ともなっていると思います。私自身はデザインやアートに特別強いわけではありませんので技術的な話を中心に述べてはおりますが、こういった技術的側面を把握できると、プロジェクションマッピング表現されているデザインを技術的にも捉えやすくなるので、作品の楽しみ方も拡がると思います。

インタラクティブなプロジェクションマッピング

ここまで紹介したのは、対象に映像を投影するだけの一方向的なものでした。一方、部屋や通路などを使って、壁全体に投影した映像が、その空間に居る人々の動きに反応して映像が変化する双方向的な「インタラクティブなプロジェクションマッピング」の例について、紹介していきます。

例えば、昨年筆者も参加した「Kinect for Windows Contest 2013」にも参加されていたanno labさんによる、以下の動画のようなシステムが例としてあげられます。

この「ワクチンバトル」は、子供達が対戦型でバトル形式で遊ぶゲームであり、ゲーム画面が投影されている壁の前で動く子供たちをKinectで撮影し、画面上の自陣の対応する位置のバイキンを、その近くで手を動かす事により綺麗にしていくというものです。(※ これまで紹介したプロジェクションマッピングとは異なり、このシステムでは、単純な壁の平面に投影している点には注意)。

この例のようにカメラやKinectと組み合わせると「背景差分」「人追跡」などの技術で人々の移動場所や画像中での人領域や手先の位置を捉え、この結果を投影画面の結果に随時反映させることができます。もちろんディスプレーに投影させた画面でも同等の事はできますが、プロジェクターで行う利点は、(1)壁全体や屋外の建築物など、映像が表示される規模感を大きくしやすい(大きなディスプレーは価格が高い)のと、(2)部屋全体をその投影した映像で包み込んで臨場感を高めやすい、などがあると思います。もちろん、対象形状が立体的であれば、それによる違いも出て来ると思います。

また、以下の動画で見る事ができる「Perfume」のライブ中のプロジェクションマッピングも、インタラクティブな物の代表例です。

この動画は昨年6月に行われたカンヌ国際クリエイティビティ・フェスティバルでのPerfumeのライブ映像ですが、歌いながら動いているメンバー3人の「姿勢や服装の変化」に合わせて映像を位置合わせして投影しており、静止した対象に投影するよりも。技術的に相当難易度が高いです。

このPerfumeのプロジェクションマッピングは、日本のクリエイター集団「ライゾマティクス」の技術によって実現されており、昨年のNHK紅白歌合戦でもそのプロジェクションマッピングによるライブが話題になりました。私個人としても、彼らの世界的にも有名なデジタルアート的でインタラクティブな作品群は、IT技術とアートの巧みな融合の世界最先端であると思います。デプスセンサ周辺の技術に興味の高い筆者としても、ライゾマティクスさんのKinectや人の動きの解釈をハイレベルに駆使した作品群には、インスパイアされる所は多いです。

まとめ

以上、プロジェクションマッピングの原理と、その技術的な側面からの見所、そしてインタラクティブなプロジェクションマッピングを紹介しました。

AR(Augmented Reality)でもそうですが、実世界の3D形状をわかっておくと、プロジェクションマッピングのように形状を捉えた上での映像を表示できるようになりますし、ARでは3D空間を捉えた仮想的グラフィックスをディスプレー中に表示することができます。つまり、コンピュータビジョン的に対象の3Dの形をデータ化できると、その形状に即した(シームレスで融合的な)情報提示が可能となります。

プロジェクションマッピングは、登場当初とは違い、ソフトウェアや解説書籍等も増えて、敷居が下がっているので、今回の記事で興味が出たエンジニアの皆様は、自分でも作って試してみると楽しいと思います。

林 昌希(はやし まさき)

慶應義塾大学大学院 理工学研究科、博士課程。
チームスポーツ映像解析プロジェクトにおいて、動画からの選手の姿勢の推定、およびその姿勢情報を用いた選手の行動認識の研究に取り組み中。(所属研究室が得意とする)コンピュータビジョン技術によって、人間の振る舞いや属性を機械学習・パターン認識により計算機で理解する「ヒューマンセンシング技術」全般に明るい。技術商社でエンジニアをしていたこともあり、海外のIT事情にも詳しい

一方、デプスセンサー等で撮影した実世界の3D点群データの活用を推進するための「Point Cloud コンソーシアム」での活動など、3Dコンピュータビジョンのビジネスでの普及にも力を入れている。また、有料メルマガ「DERiVE メルマガ 別館」では、コンピュータビジョン・機械学習の初～中級者のエンジニア向けの、他人と大きな差がつく情報やアイデアを発信中(メルマガでは、わかりやすい理論や使いどころの解説込みの、OpenCVの初心者向け連載なども展開中)。

翻訳書に「コンピュータビジョン アルゴリズムと応用 (3章前半担当)」。