キャラの“不自然なジャンプ”はなぜそう感じる? NTTが人の動作の自然な見え方解明に光

NTTは、人がジャンプする複雑な動きや、ボールが跳ねる単純な動きを脳で知覚したときの「自然な見え方」にギャップがあることを世界で初めて発見したと2月17日に発表。

今回の研究成果の概要

人間の身体動作の印象判断のメカニズム解明を前進させるほか、メタバース空間や映像表現におけるキャラクタの動きのリアリティ向上に必要な要素を解明することにもつながるという。この研究成果は、生物学を対象とする分野横断的な論文誌「Proceedings of the Royal Society B: Biological Sciences」に掲載されている。

映画やゲームのCGなどで作成された人物の全身の動きからは、時にある種の不自然さを感じることがある。人間は視覚情報から外界物体の動きを予測し、その予測が実際の動きと合致するかが、物体の“動きの自然さ”を知覚するカギとなっているためだ。

知覚心理学における従来の研究では、人間は地球の重力下にある物体の運動を、通常と異なる条件下(弱い重力環境)であっても「自然である」と知覚してしまうことがあり、たとえばボールのような単純な物体が地面から跳ね返るときは、地球重力よりも小さい重力下での動きを再現するほうが自然に感じられることが知られていた。

それに対して今回の研究では、上下運動や“リッチな動き”を含む、情報の多い「人間のジャンプ動作」に着目。情報量が多い分、正確な物理モデルに従うのではないか? という仮説を立てて、実際の人間によるジャンプ動作をさまざまに変調した動画を被験者に見せて自然さを評価してもらう心理物理実験と、脳内での重力の法則を用いた計算モデルによる解析を行った。

実験動画は、カーネギーメロン大学のモーションデータベースで公開されているデータを使い、ジャンプ動作の「高さ」と「時間長」を独立して変調した81種類のものを作成。それらをオンライン開催した実験の参加者に見せ、ジャンプの自然さを評価してもらい、評価傾向の結果を調べた。

その結果、実際のジャンプとかけ離れた動作であっても、その軌道が重力法則に従っていれば自然と評価されることが分かった。一方で、単純な物体の跳ね返りにおいて自然に見えると報告された重力の法則下(0.6g)でジャンプする動画は、自然さが低く評価される傾向があったという。なお被験者は30名ほどで、20〜40代の男女から性別比率と年代をばらけさせたうえで実験したとのこと。

実験で用いた、高さと時間長を独立に変調したジャンプ動画の例。ジャンプの到達点の高さと、ジャンプしている時間長をそれぞれ0.5倍〜2倍まで変調したものを用意した。たとえば高さと時間長をともに0.5倍にすると、実際より低いジャンプを高速で行う動画になり、高さと時間長をともに2倍にした場合は、実際より高いジャンプをゆっくり行う動画になるという

実験参加者によるジャンプ動画の自然な見え方の印象評価結果。ひとつのマス目がひとつの動画に対応しており、そのマス目の色が白くなるほど、その動画がより自然に見えたことを表す。この結果は、地球上の重力の法則に従ったジャンプ動作(青線付近のジャンプ動作)ほど自然に見えることを示している

さらに、「地球上の重力の法則に従ったジャンプ軌道かどうか」を判断する計算モデルを考案し、これを用いて各ジャンプ動画における速度変化の誤差を計算した結果と、前出の自然な見え方の印象評価の結果をプロットし、その関係を調査した。

ここからは、計算モデルの計算結果と実験参加者が感じる見え方の自然さの間には強い関係性があることが分かり、計算モデルで用いる重力加速度の値をさまざまに変化させて相関係数を計算すると、地球上の重力加速度とほぼ一致する値の重力加速度を用いたときに、最も相関が強くなったとのこと。

(左)計算モデルによる地球上の重力の法則から予測されるジャンプとの誤差と、実験参加者による自然な見え方の印象評価の間には高い相関がある。(右)計算モデルにおいて地球上の重力加速度値を用いたときに、実験参加者による自然さ評価との相関が最も高くなる

このことから、人のジャンプのように単純な物体の跳ね返りとは異なる複雑な動作の場合、人間は「地球上の重力の法則に従った動きの方が自然である」と知覚する傾向にあることを発見。これは、人間は外界物体の動きの自然さを判断するために、それぞれの物体に応じた自然さのモデルを持っていることを示唆するものだという。

つまり、ボールのような単純な物体の跳ね返りであれば、人間は「近似的な物理モデル」に基づいてその動きの自然さを判断すると考えられてきたが、人間のジャンプのような複雑な物体の動きは、身体動作や伸びなどリッチな動き情報を含むため、その動きの自然さの判断基準はむしろ「正確な物理モデル」に沿うことがカギになる、というわけだ。

今回の研究成果は、今後どのような応用が想定されるのか? という点について、オンライン説明会に登壇したNTT コミュニケーション科学基礎研究所人間情報研究部の横坂拓巳氏は、大きく分けて以下のふたつの応用が期待されると指摘。

基礎研究成果の蓄積に基づいて、キャラクタの動きのリアリティを向上させるための技術基盤を構築することで、「よりリアルな(あるいはより非現実的な)メタバース空間の構築」や、「クリエイターの表現力やパフォーマーの身体能力の理解」につなげられるのではないか、とコメントした。

メタバース空間の構築でいえば、人モデルや物体モデル、あるいはネコのような動物モデルなど、対象ごとに“動きの自然さモデル”を適用することで、個々の対象の動きのリアリティを高める(もしくは意図的に下げる)ことが可能になると考えられるという。

また、映画やゲームなどの映像作品に置ける超人的なジャンプや、アスリートやダンサーの浮遊感あるジャンプはなぜ不思議に見えるのかを理解することは、クリエイターの映像表現技能を保存することや、人の身体表現のための方法論を確立するために重要だとも指摘した。