上野駅で音声を手話や文字で即時に表現する「エキマトペ」の実証開始

富士通、東日本旅客鉄道（JR東日本）、JR東日本クロスステーション、大日本印刷（DNP）は6月9日、音の視覚化装置「エキマトペ」を用いて、2022年6月15日から12月14日までの間、JR上野駅（東京都台東区）の1・2番線（京浜東北線と山手線）ホームに流れるアナウンスや電車の発着などの音情報を文字や手話で表現する実証実験を開始すると発表した。

エキマトペは駅のアナウンスや電車の音といった音情報を文字や手話で視覚的に表現する装置だ。今回の実証実験では、ホームに流れるアナウンスや電車の発着音、ドアの開閉音などをマイクで集音し、AI（Artificial Intelligence：人工知能）分析によってリアルタイムに文字や手話、オノマトペに変換して、ホーム上に設置した自動販売機上部のエキマトペディスプレイに表示する。

「エキマトペ」利用イメージ

音情報の視覚化にあたっては、富士通の商用スパコン「FUJITSU Supercomputer PRIMEHPC FX1000」で構築したAIの学習モデルを活用して、マイクで集音した駅の音情報を識別するという。ホームに流れる定型アナウンスは、テキストに変換すると同時に事前収録したJR東日本の駅社員による手話動画とともにディスプレイ上に表現する。

電車の発着音やドアの開閉音などは、手書きアニメーションで表現するとのことだ。また、駅社員によるアナウンスを富士通の「FUJITSU Software LiveTalk」でテキスト変換し、DNPの「DNP感情表現フォントシステム」を通じて文章の内容に適したさまざまなフォントで表現する。