今回から「点群データ(Point Cloud Data)」を取得・解析する技術を紹介していく「3D点群編」を開始します。点群とは、3D空間に存在する物や環境や人を、3Dセンサによってその表面形状を撮影した「3D点の座標の集まり」のデータを指します(検索エンジンで「point cloud」で画像検索して頂くと、点群データの例が表示されると思います)。例えばKinectで撮影した距離画像を、3D空間の点に透視投影したものも3D点群です(参考:第62回第63回)。Kinectの各フレームでの点群は、対象をその時のカメラから見た表面部分のみを3D撮影した2.5Dの点群となっていることは第63回でも紹介しましたが、同じ対象を複数方向から順番に撮影したのちに、それらをレジストレーションと呼ばれる後処理を適用することで、1つの位置合わせされた点群に統合するという技術もあります。

その3D点群を取得し、解析する技術を紹介していくのですが、これまで一年ほど続けていた「安価なデプスセンサ編」でも、今回の3D点群編と同じくデプスセンサを用いた技術の話でしたので、両者の違いを把握していただかないと、話がつかめない部分が出て来る恐れがあります。従って、まず手始めに、デプスセンサ編と3D点群編の違いを整理していきます。次に、3D処理のメリットや、歴史的経緯を述べることで、3D点群編の全体の導入を行います。そして、導入が終わって以降は、これまでのように応用先別に、3D点群に関する各技術をその仕組みと共に紹介して行くという順番で書いていきます。

点群処理は、以前は高額な3Dセンサを購入できる企業や大学などしか使う機会がほとんど無い、非常にマイナーな技術でした。それが、Kinect登場以降安価なセンサで誰でも活用できるようにはなり、安価なセンサを用いた点群処理のビジネス応用例も少しずつ出て来ています。また、現在ではモバイルデバイスに統合されたデプスセンサの登場も控えており(GoogleのTangoなど)、今後一般の消費者向けの話も増えていくと期待できる技術でもあります。ただ、現状では一般消費者向けの応用例は少なく、広く一般の方々向けの応用は、まだまだこれからという技術分野です。そこで、まずはKinect以前からも活用されてきた高価なセンサを用いた3D画像センシング技術の応用例を紹介し、のちに後半では安価な動画デプスセンサを用いた最近の応用例を紹介していくこととします。

デプスセンサ編と3D点群編の違い

2013年9月から掲載を開始したデプスセンサ編では、Kinectを始めとした安価なRGB-Dセンサにより実現した「リアルタイムでの人物姿勢推定の技術」と、その人の身体や手の動きをセンシングできる技術を利用することで、コントローラーやキーボードに触ることなく、人の動きそのものを被接触の入力インタフェースとして用いる、「ナチュラルなユーザーインタフェースを用いたアプリケーション」の紹介をしてきました。紹介してきた内容を思い返して頂くと、いずれも「推定した人の3D姿勢データを主な入力として用いるアプリケーション」が中心だったことがわかると思います。すなわち、デプスセンサ編以前の本連載で紹介してきた、カラー画像や動画を入力としてきた技術とは違い、RGB-Dセンサの距離データから、KinectやLeap Motionなどに搭載されているボーン推定エンジンが推定したモーションキャプチャデータを活用する話が、これまでの紹介した内容の中心でした。

しかし、そうした人物姿勢情報に頼らず、RGB-Dセンサでも「3D点群データ」を直接解析することが当然ながら可能です。これが今回の3D点群編でのターゲットとするテーマです。例えばあなたの部屋をKinectで撮影すれば、壁やテーブル、そのテーブル上のコップもデプスセンサで点群データ化できており、それらの3D点群を直接解析することができるのです。ここで「できるのです」と一方的に断言されても、3D点群処理の開発経験や実用例を見た経験が無い方には、何が解析できて、どういうメリットがあるのかイメージがつかないと思いますので、まずは点群処理の具体例を1つお見せしようと思います。

林 昌希(はやし まさき)

慶應義塾大学大学院 理工学研究科、博士課程。
チームスポーツ映像解析プロジェクトにおいて、動画からの選手の姿勢の推定、およびその姿勢情報を用いた選手の行動認識の研究に取り組み中。(所属研究室が得意とする)コンピュータビジョン技術によって、人間の振る舞いや属性を機械学習・パターン認識により計算機で理解する「ヒューマンセンシング技術」全般に明るい。技術商社でエンジニアをしていたこともあり、海外のIT事情にも詳しい

一方、デプスセンサー等で撮影した実世界の3D点群データの活用を推進するための「Point Cloud コンソーシアム」での活動など、3Dコンピュータビジョンのビジネスでの普及にも力を入れている。また、有料メルマガ「DERiVE メルマガ 別館」では、コンピュータビジョン・機械学習の初~中級者のエンジニア向けの、他人と大きな差がつく情報やアイデアを発信中(メルマガでは、わかりやすい理論や使いどころの解説込みの、OpenCVの初心者向け連載なども展開中)。

翻訳書に「コンピュータビジョン アルゴリズムと応用 (3章前半担当)」。