ARKit 2は「環境をいかに認識するか」という機能に加えて、「人をいかに認識するか」という機能も向上している。顔の追跡機能強化は、ARの活用領域として早期に立ち上がっている自分の顔の装飾をより精密なものにする。

Facebookは本体のアプリやMessengerに加えて、InstagramにもARによる顔の装飾機能を用意していたが、AppleのARKit 2とiPhone Xに搭載されるTrueDepthカメラを用いることで、これらのアプリでも顔の50の筋肉を認識したリアルタイムレンダリングの装飾が利用できるようになる。

  • Memojiを発表するフェデリギ氏。中央は本人のMemojiだ

AppleはARKit 2の顔のトラッキングのデモとして、iPhone Xで導入したアニ文字に続いて、「Memoji」を公開した。Memojiは自分の顔を絵文字化できるiMessage内アプリで、アニ文字と同じように表情を作ってメッセージにスタンプとして送信したり、音声入りのアニメーションをビデオで送信できる。

加えて、顔のトラッキングの向上によって、FaceTime中に自分の顔をリアルタイムに合成可能となった。首から上をMemojiやアニ文字に置き換えての対話は、前述のFacebookのアプリでは珍しくなかったかもしれないが、実際に試してみると、追随のスピードや表情の豊かさは大きく異なっており、よりリアルさが増していた。

  • これまでのアニ文字は背景が白だったが、ARKit 2では背景も含む写真をリアルタイムレンダリングで写真、ビデオ撮影ができるようになった

その理由としては、毎秒60フレームでの表情の反映が可能である点に加え、ARKit 2で採用された「視線」の認識が効いている。これまで目が開いているかどうかは検知していたが、目玉がどちらを向いているかまでは反映されなかった。もっとも、アニ文字はそこをごまかすため、動物の目は黒く塗りつぶされていたが。

  • MemojiでFaceTimeに参加することもできるようになった。映像はFaceTimeチームとグループ通話を行うTim Cook CEOのMemoji

Memojiでは自分の視線も反映され、より豊かな表現を可能にしている。個人的には、アニ文字よりもMemojiのほうが様々な場面で使われるAR装飾になるのではないか、という感想を抱いた。現在この機能を利用できるのはTrueDepthカメラ搭載のiPhone Xのみだが、2018年はより多くのデバイスにTrueDepthカメラを搭載し、Memojiでのコミュニケーションを新たなiPhoneの魅力に据えていくのではないだろうか。

松村太郎(まつむらたろう)


1980年生まれ・米国カリフォルニア州バークレー在住のジャーナリスト・著者。慶應義塾大学政策・メディア研究科修士課程修了。慶應義塾大学SFC研究所上席所員(訪問)、キャスタリア株式会社取締役研究責任者、ビジネス・ブレークスルー大学講師。近著に「LinkedInスタートブック」(日経BP刊)、「スマートフォン新時代」(NTT出版刊)、「ソーシャルラーニング入門」(日経BP刊)など。ウェブサイトはこちら / Twitter @taromatsumura