自動車を運転しながら、気になった店やイベントなどの情報を、クルマに尋ねると、即座に詳細を答えてくれる、そんな時代が間近に迫っている。そうした自動車とのスマートなやりとりを実現するソリューションの開発をCerenceが進めている。

Cerenceは、音声認識・音声入力ソフト「ドラゴンスピーチ」などでも知られるNuance Communicationsのオートモーティブ部門を、2019年10月1日付けで分社・独立させて設立された企業。これにより、残ったNuanceはコールセンターなどのエンタープライズ分野に注力し、Cerenceが一方の注力分野であった自動車関連に注力するという形となった。

自動車業界はエレクトロニクス化を背景に、コネクテッドカーや音声認識によるバーチャルアシスタント、安心・安全な運転を実現するADAS、シェアリングサービスのようなMaaS、そして完全自動運転といったトレンドが台頭してきており、自動車(OEM)メーカーのみならず、ティア1などのコンポーネントベンダもそうした動きへの対応が求められるようになってきた。

Cerenceはそうした動きの中で、音声を使った車と乗員とのやり取りを可能にするソリューションを実現したい、といったOEMやティア1などのニーズに応える製品やサービスの提供を行ってきたが、最近のカスタマニーズは音声だけではなく、視線や表情、感情などといった情報も含むマルチモーダルへの対応だという。

そこで同社が開発を進めているのが「Cerence Multi Modal PoC」となる。日本版の同PoCはドライバの前面に設置された光学カメラで頭の向きと視線の位置を把握、音声によるトリガを元に、頭と視線の向きから、3D地図上のどこを見ているのかについての推論を実施。その結果を踏まえ、建物情報などをドライバに返す、といったものとなっている(海外のPoCでは指差しジェスチャなどの把握なども行っているという)。

PoCでは、オープンソースの3D OpenStreetMap(OSM)をベースに建物情報などを入れ込んで、OSMの地図情報と視線情報を組み合わせているが、商用ベースではHEREのデータなどを活用することになるとする。ただし、そうした地図データとして、どのようなものを使うか、といったことに関しては、OEMやティア1など、実際にシステムを構築するカスタマ側の考え方次第になるという。

  • Cerence

    3D地図の利用は必須条件だが、容量が従来の2Dベースの地図とは比べ物にならなくなるので、従来のカーナビのように車載として利用するか、クラウドベースで利用するかは、提供するカスタマの考え方による。ただし、クラウドでの利用はどうしても通信遅延が発生することを考えれば、従来同様、車載機器として搭載したほうが反応速度などの性能的には良くなる(その代わり、地図情報のアップデートデータが多くなるので、その対応をどうするか、といった問題などが生じる)

ちなみに3D地図を活用するのは高さ情報が必要になるため。同じ建物でも1階を見ているのか、2階を見ているのかで店が違ったりするため、高さ情報は必須となるという。

  • Cerence
  • Cerence
  • Cerence
  • Cerence
  • 3D地図のデータ処理イメージ。演算処理としては、建物ごとにフレーム化して、その情報と視線情報を組み合わせて、どの建物を見ていたか、ということを処理する。ソリューションとしては、常時取得しているログデータの中から、音声を発し始めた瞬間の視線位置と3D地図情報を組み合わせ、指定された建物であるとの推論を実行している

  • Cerence

    マルチモーダルによる自動車とのやり取りのユースケース

また、建物情報を司るPOI(Point Of Interest)も進化させている。従来のPOIは車両を中心に、同心円状に候補を検索していたが、走行ルートを把握することで、進行方向にある店を示す、といったことができるようになったという。

同社の製品ロードマップとして、こうしたマルチモーダルへの対応は2021年ころになるという。具体的には2020年は、設立間もない、ということで、足場固めの意味からコア領域である自然言語理解や音声認識などの強化を進めていき、2021年~2022年にかけてマルチモーダルへの対応のほか、ドライバーモニタリング、自動運転、感情認識などといったユーザー体験の拡張を図るソリューションの展開をはかり、2023年以降に、ARやディープセンサなどといった新技術への対応を進めていくとしている。

  • Cerence
  • Cerence
  • Cerenceのソリューション・ポートフォリオを製品ロードマップ。実際に自動車に搭載され、その自動車が販売されるのは、ここから早くても数年ほど先のタイミングとなることに注意が必要

  • Cerence
  • Cerence
  • Cerence Multi Modal PoC日本版を搭載したデモカー。ドライバーの前に頭の角度と視線を把握するためのカメラ、天井部にマイク

PoC日本版を搭載したデモカーによるデモの様子。東京ビッグサイトを見て、それが何であるかを聞いてみた結果

PoC日本版を搭載したデモカーによるデモの様子。東京ビッグサイトの会議棟を見て、それが何であるかを聞いてみた結果

PoC日本版を搭載したデモカーによるデモの様子。お台場のMINI TOKYO BAYと東京国際交流館を立て続けに何であるかを聞いてみた結果

PoC日本版を搭載したデモカーによるデモの様子。船の科学館を何であるかを聞いてみた結果

PoC日本版を搭載したデモカーによるデモの様子。お台場のグランドニッコー東京台場の宿泊費について聞いてみた結果