6月26日(現地時間)、Microsoft Researchはキーボードとマウスに変わる新たなUIプロジェクト「Handpose」の最新状況を公式ブログで発表した。同プロジェクトは2016年1月から現在まで続けている。記事では触れていないが、Microsoftのジェスチャー&音声認識操作デバイス「Kinect」や、Intelの「RealSense Camera SR300」などを通じて、ディスプレイ内に映し出された仮想の手を、ジェスチャー操作でコントロールするというもの。

KinectやOculus Riftを使ってディスプレイ内に存在する金庫のダイヤルやスライダーなどを実際の手で操作している。従来と大きく違うのはリアルタイムに動く点だ(公式動画より抜粋)

デモンストレーション動画では、金庫のダイヤルを回し、スライダーを巧みに動かす様子を披露。ほぼリアルタイムに応答し、実物の手が仮想の手に置き換わっているように見えた。その他にもディスプレイ内の鍵盤を仮想の指で弾き、ターンテーブルを操作するなど、さまざまな実験結果を視聴できる。

内部的にはカメラから取得した手だけを抽出し、各部分に点と線のデータを与えて、スムーズな動きを実現している(公式動画より抜粋)

さらにこれらの技術とPCをつなげるプロジェクト「Prague」も合わせて披露した。こちらはウィンドウを閉じるなど簡単な操作を手のジェスチャーで実現するというもの。Microsoft Researchは仮想技術は進化すると述べつつ、これまでよりも自然な方法で対話を実現することを目標にしている。

Microsoft Research "Project Prague" LeadのKfir Karmon氏によるデモンストレーション。手のジェスチャーだけで、表示した画像をPowerPointにコピー&ペーストしていた(公式動画より抜粋)

阿久津良和(Cactus)