慶應義塾大学(慶応大)理工学部システムデザイン工学科の満倉靖恵准教授らの研究グループは、一般的なPCとUSBカメラ1台だけを用いて人間の顔の向きや表情の変化を高速・高精度に計測する手法を開発したことを発表した。

映画やゲームなどの映像作品によく見られるCGアニメーション製作には、一般的に人体の動きを計測する「モーションキャプチャ」の機器が必要なほか、キャラクターのモーション生成には手間のかかる手作業を要する必要がある。中でも、顔のモーションは細かな表情や顔の向きを表現を形作ることは相当な手間となっている。一方、近年の動画投稿サイトの普及により、商用だけでなく趣味や娯楽を目的としたCGアニメーション製作への注目が高まっており、一般的なPCユーザの間で、簡単にキャラクターを操作できるシステムの開発が求められるようになってきている。

今回開発された「アバターシステム」は、市販のPCと安価なUSBカメラのみを使用し、ユーザの顔を一度登録するだけで、カメラから計測された人物の顔の動きをCGキャラクターに簡単にオンラインで反映できることを目指して開発された。

顔の検出・追跡には、時系列信号処理の手法を応用し、目や鼻、口などに配置された特徴点を高速・高精度に追跡することを可能とした。

図1はカメラから取得した画像と顔の検出結果を示してものだが、白い点は顔の追跡に利用した特徴点、黒い線は顔の向きを表わしており、顔の向きや口の動きに合わせて適切に顔を検出していることが分かる。また、表情の変形の仕方を統計・解析することで、顔の向きだけでなく、眉や口の動き、笑い、怒り、驚きなどの表情を遅延なしで表現することも可能だ。

図1 カメラから取得した画像と顔の検出結果

図2はアバターシステムの動作結果の例を示したもので、それぞれの結果は図1の顔と対応している。

図2 アバターシステムの動作結果(モデル:天羽ソラ(C)ISAO)

また、CGキャラクターは、インターネット上で公開されている任意の画像にも利用することが可能だ。従来手法では、顔にマーカーをつけるなどのモーションキャプチャシステムが必要であったが、同システムはカメラ1台で利用ができるため、安価で簡易なシステムを実現することが可能となる。

さらに同システムはPC画面上に操作者が近寄ると、キスをしてくれたり、作り笑いをするだけで満面の笑顔を振りまいてくれるといったことも可能となっている。

なお、研究グループは今後、一般的なPCユーザによるモーション生成ソフトウェアの実現を目指すほか、ゲーム製作やWeb対話システム、販促イベント、生放送などの様々な場面への応用を考えていくとしている。また、スマートフォンなどのモバイル機器への実装も進めて行く予定としている。