3D人物姿勢推定の仕組みとナチュラルユーザーインタフェース

今回から、Kinect登場の時に初めてコンシューマレベルで実現されたことで大きなインパクトとなった技術「3D人物姿勢推定」の仕組みと、それを用いた応用である「ナチュラルユーザーインタフェース」について紹介していきます。

ここまで連載では、Kinect登場以降に初めて市場に登場した「安価なRGB-Dセンサ」の、「距離画像の撮影原理」について紹介してきました。(主に室内の)3D形状を色付きで撮影できる安価なRGB-Dセンサは、「実世界の3Dの形が(動画で)撮影できる」事で様々な価値が生まれるのですが、Kinectの販売を始めた当初のMicrosoftが最初に選んだ応用先は「Xbox 360向けのコントローラ」というものでした。Kinectで撮影する距離画像から、人の関節の3D位置をリアルタイムに推定する「人物姿勢推定」技術を用いたもので、これによりプレイヤーの自然な姿勢の動きをそのまま入力として用いるゲームの開発が可能になりました。

例えば以下の動画は、Xbox360のKinectを用いたゲーム「Dance Central」の海外人気ゲームサイトによるプレビュー動画です。

プレー動画の最中に、画面左側にプレイヤーの男性がプレーしている様子も表示されています。このようにKinectで撮影しているプレイヤーの3D姿勢をリアルタイムに取得できるので、「ゲーム画面上のCGのダンサーと同じダンスが踊ることができれば高得点になる」というゲームが実現できています。

このような「人の動きをそのまま捉える」ゲームはKinect登場以前は実現できませんでしたので、Xbox360用Kinectは、その新しさも去る事ながら、全身を動かすゲームの楽しさから、世界中で爆発的ヒットとなりました。第60回で紹介したように、つい先日アメリカで発売されたXbox 360の後継機「Xbox One」では、このXbox360向けの(Primesenseの)Kinectとは異なる、ToF形式の別のKinect(通称Kinect 2)が同梱されておりますが、その人物姿勢推定は強化されています。

現在ではMicrosoftは、ゲームコントローラ向けの用途だけにとどまらない「ナチュラルユーザーインタフェース」全般としてのKinectの活用を推進しています(第58回を参照)。Microsoftは、開発者向けに、Kinectで計測したRGB-Dデータおよび人物姿勢情報をもとに独自のアプリケーションを構築するための開発ツール「Kinect SDK」を提供しており、Kinectが推定する人の姿勢を使用したアプリケーションを、開発者は独自に開発する事ができます。つまり、Kinectはゲーム以外のシステムでも広く用いることが可能なわけです。

RGB-Dセンサを用いた様々な応用アプリケーション例はのちにまとめて紹介させていただくとして、ここからは「Microsoftの人物姿勢推定技術」の仕組みについて紹介していきます。その後、人物姿勢推定や顔の姿勢推定などを用いて人の動きをコンピュータがとらえる、「ナチュラルユーザーインタフェース」の技術について紹介することにします。

林 昌希(はやし まさき)

慶應義塾大学大学院 理工学研究科、博士課程。
動画からのチームスポーツ映像解析プロジェクトにおいて、選手の姿勢の推定、およびその姿勢情報を用いた選手の行動認識の研究に取り組み中。人の振る舞いや属性を理解する「ヒューマンセンシング技術」全般が専門。

有料メルマガ「DERiVE メルマガ 別館」では、コンピュータビジョンの初～中級者のエンジニア向けへの情報を発信中。Point Cloud Libraryについてのセミナーも行うなど、コンピュータビジョン技術の普及やコミュニティ拡大に取り組んでいる。

翻訳書に「コンピュータビジョン アルゴリズムと応用 (3章前半担当)」。