HoloLensのために独自開発の専用チップ「HPU」を開発したMS - Hot Chips 28

Hot Chips 28において、MicrosoftのNick Baker氏が「HoloLens」に関する基調講演を行った。仮想現実(Virtual Reality:VR)は、コンピュータグラフィックで生成した仮想の風景だけを表示するが、HoloLensは、現実の風景とコンピュータグラフィックで生成した画像を重ねて表示するAugmented Reality(AR)を志向している。

HoloLensでは現実の世界と、コンピュータグラフィックスの世界が重なって見える。次の図のように、あたかも、人体模型がホログラムで空中に描かれている感じである。

このため、キャラクタをデザインする仕事に使ったり、リビングルームに怪物が出現するゲームを楽しんだり、メンテナンスの手順を教えたり、仮想的に家具を置いてみて買い物を助けるなどの使い方ができると提案している。

そして、HoloLensでは、その場にホログラムが出現するだけでなく、オーディオもホログラムが発したように聞こえるようになっている。

HoloLensは、イメージを表示する光学系の上に、現実の風景と重ね合わせるコンバイナ光学系とEPE(Exit Pupil Expansion)光学系が載っている。さらに、その上にディスプレイとヘッドトラッキングとジェスチャのセンサが載るという構造になっている。

そして、HoloLensの基礎になる技術が、周囲の環境と仮想現実のグラフィックスを重ねる技術で、工学格子を使って光を結合している。この基本的な技術はNokiaが1995年に考案したものであるという。

各種の光学系とセンサ、センサ信号を総合する情報処理系などが組み込まれているので、次の部品展開図にみられるように、HoloLensのゴーグルには多数の部品が使われている。

HoloLensは、処理系のフロントエンドとしてIntelのAtomベースのSoC(Cherry Trail)を使っている。このフロントエンドがコントローラとのWi-Fiの通信やボタンの検出などを行っている。そして、カメラからの信号の処理などの主要な部分を担当するのが、Microsoftが独自に開発した「HPU(Holographic Processing Unit)」というチップである。

当初、Microsoftは他社のイメージ処理チップなどが利用できないかと考えていたが、適当なものが見つからなかったので、HPUを自主開発することにしたという。HPUはTSMCの28nm HPCプロセスで作られており、ロジックが約65Mゲート、SRAMが約8MB集積されている。チップサイズは公表されていないが、パッケージが12mm角のBGAであるので、8mm～10mm角程度のチップと思われる。そして、1GBのLPDDR3 DRAMが接続されている。

HPUのアーキテクチャであるが、周囲の状況とジェスチャなどを含めて、各種センサの信号をまとめる。処理された信号は非常にコンパクトで、ホストSoCに送られる。信号の処理を行うのは、HPUに内蔵された24個のTensilicaのDSPである。このDSPにはHoloLens用に命令を追加している。

さらに、固定機能のアクセラレータを開発して付加し、信号処理性能を向上させている。これらのハードウェアにより、ソフトウェアだけで処理するのと比べて200倍の性能を実現しているという。しかし、HPUの消費電力はCherry Trailより少ないとのことである。

このようなハードウェアで、眼前にホログラムが出現し、オーディオもホログラムが発したように聞こえるようになっているが、ホログラムが眼前の風景に溶け込んだアプリケーションを作るのは、かなり大変そうで、コストもかかりそうである。

HoloLensは非常に面白く、役に立ちそうな技術であるが、コストが心配である。ジェットエンジンの整備とか、手術の手順の検討やリハーサルというような高くてもペイする用途には実用化できそうであるが、より広い範囲のユーザが使えて、コストにマッチするような使い方を確立するのは、まだまだ、試行錯誤が必要ではないかと思われる。