DNPは12月9日、周囲の環境音などを擬音語・擬声語としてスマートグラスにテキストで表示する機能を実装したことを発表した。テキスト内の感情やイメージに適したフォントに自動的に切り替える「DNP感情表現フォントシステム」を活用して文字を表示することで、より感情豊かなコミュニケーションの実現につなげていくという。

  • 左:スマートグラスの利用イメージ 右:擬音語と字幕を表示したスマートグラスのイメージ

    左:スマートグラスの利用イメージ 右:擬音語と字幕を表示したスマートグラスのイメージ

同社は、同機能の有用性や課題などを検証するため、聴覚障がい者を主な対象として、スマートグラス「XREAL Air 2 Ultra」を使用した「音が見える!字幕表示メガネでオノマトペ体験会」を2025年1月24日～26日に新宿NSビルと新宿中央公園で実施する。

なお、今回の取り組みは、東京都の「西新宿先端サービス実装・産官学コンソーシアム」における「先端技術を活用したユニバーサルコミュニケーション分科会」のプロジェクトとして行うもの。DNPは開発パートナーであるアイシン、日本Xrealの協力を得ながら技術開発を進めていく。

周囲の音を視覚的に表示する新機能の特徴

今回、発表された機能は、アイシンが開発した音声認識システム「YYSystem」に追加された周囲の音を擬音語・擬声語に変換する機能を活用することで、スマートグラスで表示できるように実装したもの。

救急車のサイレン、横断歩道の案内音、水の流れや落ち葉などの自然の音、犬・猫などの動物の鳴き声など10種類の擬音語・擬声語を表示する。

この機能により、外出時などに自分の身の回りの状況を察知することで、雰囲気を楽しんだり、安全に行動したりするための情報を得ることができるようになる。

同システムでは、「DNP感情表現フォントシステム」が活用される。周囲の音を認識してテキストデータ化し、その言葉が表現する感情やイメージに合うフォントや色に自動的に切り替えて、スマートグラスに表示する。

今回、屋外の環境などで特に認識したい音を事前に機械学習させておくことで、実際にその音がした際に、システムがその音を認識して最適な感情表現フォントで表示する。