立体音声で方向を伝える。ソニーが視覚障がい者の歩行支援アプリと組む理由

2024年の秋に、ソニーがリング型ドライバーユニットを搭載するオープンスタイルのワイヤレスイヤホン「LinkBuds Open」を発売した。本機がコンピュータサイエンス研究所の視覚障がい者向け歩行支援アプリ「Eye Navi」(アイナビ)と連携すると、音声歩行ナビゲーションにも使えることをご存じだろうか。両社の先端テクノロジーが実現するバリアフリースタイルを取材した。

ソニーでLinkBudsの商品企画を担当する田中光謙氏。両手に持っているのが「LinkBuds Open」(直販29,700円、ブラック/ホワイトの2色)で、首に掛けているのがEyeNavi(アイナビ)専用のネックポーチ

ソニーが2024年10月に発売した新製品「LinkBuds Open」。本体の耳に挿入する部位に物理的な穴を開けることで、装着してサウンドを再生しながら周囲の環境音が自然に聞ける、個性豊かなワイヤレスイヤホンだ

ワイヤレスイヤホンが人間の健康を支える

ワイヤレスイヤホンにオーディオリスニングの垣根を超えた「新しい価値」を発見し、提案することに力を入れるメーカーが増えている。直近ではアップルもAirPods Proのソフトウェアアップデートにより、軽度から中等度の難聴を持つユーザーのために医療グレードのヒアリング補助機能を提供開始した。ゼンハイザーの「MOMENTUM Sport」はユーザーの心拍と体温を計測するセンサーを内蔵している。ワイヤレスイヤホンの用途はヘルスケア・ウェルネスの領域にも拡大しつつある。

ソニーは2022年に発売したLinkBudsの初代モデルから、視覚障がい者支援を目的とするアクセシビリティ機能の搭載に力を入れている。

最初に話題を呼んだのは、マイクロソフトが2022年にiPhone向けにリリースした3Dオーディオマップアプリ「Microsoft Soundscape」日本語版との連携。地図によるナビゲーションに加えて、LinkBudsを装着するユーザーが顔を向けた方向にある道路や交差点、ショップなどの情報を音声で知らせてくれるという機能が利用できた。ただし残念ながら、2023年6月30日にMicrosoft Soundscapeのサービス自体が終了している。

ソニーでLinkBudsの開発に携わるチームは、視覚障がい者の方々のためにマイクロソフトのアプリに代わる別の音声ナビゲーションを模索してきた。ソニーが国内で開催された視覚障がい者のためのイベントに出展した際、コンピュータサイエンス研究所のEye Naviに出会ったことで協業が始まった。詳しい経緯については、LinkBudsとEye Naviの連携が始まった2024年5月のニュース記事を参照してほしい。

ソニーLinkBudsが視覚障がい者の街歩きを支援。Eye Naviアプリ連携の狙いを聞く

ソニーのLinkBuds Openは耳に挿入する本体の中心に穴が空いている。そのため、装着してサウンドを再生しながら周囲の環境音が同時に聞けるユニークなワイヤレスイヤホンだ。内蔵マイクによる外音取り込み機能との違いは、周囲の環境音がより自然に聞こえるところだ。

独自開発のリング型ドライバーユニットを搭載。サウンドもパワフルだ

ドライバーの中心に穴が開いていて、イヤホンの真ん中が素通しなので外の音がそのまま聞こえる

コンパクトな本体には3種類のセンサー(加速度・ジャイロ・地磁気)を内蔵。ユーザーの顔の向きに再生中のサウンドを連動させるヘッドトラッキング機能や、イヤホンを身に着けて移動するユーザーの方位を割り出してマップデータに反映させるサービスなどに対応する。

ChatGPTにも対応した障がい者歩行支援アプリ「Eye Navi」

コンピュータサイエンス研究所が開発するEye Naviは、2024年12月現在でiPhone対応のアプリがリリースされている。アプリが搭載する独自のAI画像認識エンジンにより、視覚に障がいを持つ方々のための歩行支援として、障害物検出を行ったり、点字ブロックだけでなく歩行者信号の色なども音声で知らせてくれる。

Eye Naviアプリの設定画面。どのような障害物・目的物を画像認識により検知するか、ユーザーが設定を任意に変更できる

対象物の種類は多岐に渡る。特に歩行者信号の「色」を判定できるところがEye Naviアプリの特徴だ

iPhoneのカメラを使い、Eye Naviアプリを通して交差点の写真を映したところ(アプリ側で被写体を認識したときのイメージであり、実際にユーザーが利用するときは、iPhoneの画面を注視するわけではない)

ほかにもマップ情報と連携する経路案内や、自動車のドライブレコーダーのように歩行時の映像を記録できる「歩行レコーダー」の機能がそろう。

使用時にはアプリを立ち上げてiPhoneのメインカメラを進行方向に向けなければならない。ユーザーがハンズフリーで使えるように、コンピュータサイエンス研究所はiPhoneを前に向けたまま首から掛けられる専用のネックポーチも開発した。

アプリは無料で提供しているが、10月28日には月額1,000円の「プレミアムプラン」をリリースしている。これにより、マップ上に自分だけのオリジナルルートを作成登録したり、歩行レコーダーに映像だけでなく音声も記録できる機能などが加わった。

最大の特徴はChatGPT連携による「AIチャット(情景描写)」の機能だ。アプリのカメラで撮影した写真に写っている被写体をChatGPTが読み取って、音声で説明してくれる。たとえば「この建物の入り口はどこ？」と任意の質問をテキストでタイピングして、ドアの正確な場所をChatGPTに聞くこともできる。

有料のプレミアムプランに加わった「AIチャット」の機能(画像上)

カメラで撮影した画像に移っている被写体を解析。形状などを音声で読み上げてくれる

AIチャットの実機デモの様子(ユーザーは画面を見ず、読み上げ音声のみをLinkBudsシリーズなどのイヤホンで聞き取る)

深いレベルで連携するLinkBudsとEye Naviアプリ

LinkBudsとEye Naviアプリのペアリング設定を済ませてから、Eye Naviアプリに目的地を登録して移動を開始する。アプリがGPSによる位置情報を取得して、目的地までの経路を音声でナビゲーションしてくれたり、歩行の障害になり得る人や物、信号の色や横断歩道など対象物の有無を知らせてくれる。

LinkBudsを装着していれば、ユーザーの進行方向に対して横断歩道や街路樹などがある方向から音声によるアラートが聞こえてくる。LinkBuds Openはオープンスタイルのイヤホンなので、イヤホンから聞こえるサウンドと周囲の環境音が自然にミックスされるようなリスニング感が得られる。

ソニーではLinkBudsシリーズのためにさまざまなアプリやサービスを提供するパートナー企業との連携を進めてきたが、Eye Naviについては視覚に障がいがある方がシンプルにLinkBudsを使いこなせるように「より深い連携」が実現できたと、ソニーでLinkBudsの商品企画を担当する田中光謙氏が振り返っている。

「2023年の春ごろに共同開発を始めて以来、コンピュータサイエンス研究所のエンジニアの方々にはとても短い時間でEye Naviアプリとの連携を実現していただきました。LinkBudsと連携するアプリやサービスは、通常であればコンパニオンアプリのSound Connectとの間を往来しながら各設定を行うのですが、視覚に障がいを持つユーザーの方々のためにもっと使い勝手を高めたいと考えました。そこで、iPhoneとのBluetoothペアリングを済ませた後はEye Naviアプリの側で設定を一気通貫して行えるようにしていただきました。コンピュータサイエンス研究所の方々が、視覚障がいを持つユーザーに寄り添いながらEye Naviアプリを開発してきた知見をお借りできたことに感謝しています」(田中氏)

Bluetoothペアリングを済ませたLinkBudsを、Eye Naviアプリからイヤホンへダイレクトにアクセスして詳細設定が行える

ソニーのLinkBudsシリーズ、1000Xシリーズの第5世代のイヤホンとヘッドホンが対応する

さらにLinkBudsが搭載する「Quick Access」(クイックアクセス)の機能設定を行うと、イヤホン本体のタップ操作のみでEye Naviアプリを起動したり、周辺情報の読み上げができる。ユーザーが都度iPhoneに触れて操作する必要がなくなることが大きなメリットだ。

クイックアクセスの機能によりEye Naviアプリの直感的な操作が可能になる

次の目標は「対象物までの距離」を音声で知らせる機能

コンピュータサイエンス研究所でEye Naviのプロジェクトに携わる髙田将平氏にも、オンラインインタビューでソニーとの共同開発による成果の手応えを聞いた。

コンピュータサイエンス研究所でEye Naviのプロジェクトに携わる、営業企画・企画開発・統括部長の髙田将平氏

髙田氏はLinkBudsの印象について、「音の良さ」と「技術の先進性」に加えて次のようにコメントしている。

「視覚に障がいを持つ方にとって、障害物や目標物がそれぞれに“ある方向”から聞こえてくる体験には“楽しさ”があります。LinkBudsとEye Naviの連携によって直感的で、なおかつ楽しく使える歩行者支援サービスが実現できました。ソニーのLinkBudsとの連携は私たちが理想に描く、誰もが自由に、そして楽しく移動できる社会の実現に向けた大きな一歩になりました」(髙田氏)

Eye Naviアプリの特長は「高い障害物検出の精度」にあると髙田氏は語る。「歩行者信号の色」まで画像から認識できることが、特に多くのユーザーから好評を得ているそうだ。2024年5月からLinkBudsとの連携が始まったタイミングで、独自開発によるAIモデルをアップデートして、ユーザーにいっそう精度の高いサービスが提供できているという。

今後は両社による協力を深めながら、ナビゲーションの利便性をさらに高めたいと髙田氏は意気込みを語っている。

具体的にはEye Naviユーザーの中から「対象物までの距離」を音声ナビゲーションにより知りたいという声が寄せられているという。

iPhoneの上位機種であれば、メインカメラに測距に長けたLiDARセンサーを搭載している。対象物までの距離を測って音声で知らせることは技術的には可能だが、同時に「ユーザー体験をデザインすること」も課題として見えているようだ。

ソニーの田中氏は次のように説明する。

「今秋、都内で開催された視覚障がい者のためのイベント『サイトワールド』にソニーが出展した際、LinkBudsとEye Navi連携のプロトタイプ機能を出展しました。経路案内を利用するユーザーが進む方向に合わせて、音声で距離を伝える機能です。現在見えている課題は音声インタフェースのデザインを検討することです。経路に設定された曲がり角に近付くと『あと何メートル』というガイダンスで知らせるのではなく、たとえば鳥の鳴き声が聞こえてきて、曲がり角に近付くほど音が大きくなるとったような直感的な案内が適しているのではないかと。サイトワールドに来場者いただいた皆様からのフィードバックを今後の開発に活かしたいと考えています」(田中氏)

サイトワールド2024 ソニーブースで出展されていた、LinkBudsとEye Navi連携のプロトタイプ展示

必要になるセンシングデバイスやテクノロジーの材料はもうそろっている。視覚に障がいを持つ方々が使いやすいインタフェースの形に、両社がこれからどのように落とし込むのか注目したい。

なお、2024年12月時点でEye Naviアプリに対応するソニーのワイヤレスイヤホン・ヘッドホンは以下のとおり。

完全ワイヤレスイヤホン

LinkBuds Open/WF-L910
LinkBuds Fit/WF-LS910N
LinkBuds S/WF-LS900N
LinkBuds/WF-L900
WF-1000XM5

ワイヤレスヘッドホン

WH-1000XM5

視覚に障がいを持つ方々がよりスムーズに、かつ安全に着脱できるネックバンドスタイルのワイヤレスイヤホンもラインナップに加えるべきではないかと筆者は考える。音の良さや通信精度の安定感に加えて、多くの人々が「アクセシビリティの高いデザイン」の観点からも選びたくなるワイヤレスイヤホン・ヘッドホンが増えてほしい。