Dentsu Lab Tokyo×NTT人間情報研究所、ALS共生者の目線と筋電によるDJパフォーマンス

フジテレビの「僕のいた時間」というドラマでも題材にされ、注目を集めた「ALS」という病気を聞いたことがあるだろうか。

ALSとは、正式には「筋萎縮性側索硬化症」と呼ばれるもので、身体を動かすのに必要な筋肉が徐々に痩せていき、力が入らなくなる病気のことを指す。発病の原因が不明で治療法が確立されていない「指定難病」の1つとして、国に指定されている病だ。

このような難病とともに生きる人であっても、あらゆる可能性を失わず、より良い生活を送れるように取り組みを行っているのが、Dentsu Lab TokyoとNTT人間情報研究所が共同で実施しているプロジェクトが「ALL PLAYERS WELCOME」だ。

今回は、Dentsu Lab Tokyo エグゼクティブクリエーティブディレクターである田中直基氏とNTT人間情報研究所 所長の日髙浩太氏に、両社が取り組むプロジェクトや、その中の取り組みである「Project Humanity」について聞いた。

• 

  左からDentsu Lab Tokyo エグゼクティブクリエーティブディレクターである田中直基氏、NTT人間情報研究所 所長の日髙浩太氏

テクノロジーとアイデアで社会をアップデートする「ALL PLAYERS WELCOME」

今回、取り上げるALL PLAYERS WELCOMEを手がけるDentsu Lab Tokyoは、電通グループの中で、さまざまな企業・大学・研究所・アーティストと連携しながら、新しい体験の開発や社会課題の解決を実践的に行っている、研究・企画・開発が一体となったクリエイティブの研究開発組織だ。

Dentsu Lab Tokyoがさまざまなバックグラウンドを持つ人々とともに社会課題の解決と新しい表現方法の模索をする中で、2022年から身体に障がいを持つ人と、誰でも表現ができるためのツールや環境をつくることを目的に同プロジェクトを始動させた。

「この取り組みは、障がいやビハインドを持っている方々を僕らが『助けてあげる』という構図に思われがちなのですが、私は真逆だと考えています。そもそも今の世の中は、どうしてもビハインドを持ってしまった人がプレイヤーとして後退せざるを得ない仕組みになってしまっています。これにはさまざまな原因がありますが、実際には健常者には持ちえないクリエイティビティや気付きを持つ方も大勢いるのです。それを『お借りする』形で、彼らがプレイヤーになってもらいたい、という想いから『ALL PLAYERS WELCOME』という言葉は生まれました」(田中氏)

• 

  ALL PLAYERS WELCOMEの発足について語る田中氏

同プロジェクトの取り組みとして、最も大きな注目を集めたのは2022年6月に開催された「カンヌライオンズ 国際クリエイティビティ・フェスティバル」で行われたALS共生者による音楽パフォーマンスのステージだったという。

「このイベントでは、フランス カンヌの会場とアーティストの拠点である日本を通信回線で結んでライブ演奏を実現しました。演奏を行ったアーティストのMASAさん(武藤将胤氏)は、ALS共生者の身体を動かすことができないアーティストとして、『目』を使った音楽活動を行っているアーティストです」(田中氏)

• 

  「目」を使った音楽活動を行っているMASAさん(武藤将胤氏)

武藤氏が行っている「目を使った音楽パフォーマンス」を実現しているのは、Dentsu Lab Tokyoが、ALL PLAYERS WELCOMEの第1弾として開発した、3種類の視線だけで演奏できるツールだ。

自由視点による演奏装置「EYE XY PAD」、リアルタイムでより容易なトラック操作を可能にする「EYE MIDI PAD」、異なる地点で生演奏時に発生する遅延の問題を解消する遅延対応リモート演奏装置「SHOOTING PAD」というツールは、「ALL PLAYERS TOOL LAB」というプラットフォームを通じて無償提供されている。

メタバース上で観客の声援に応える

一方、日髙氏が所属するNTT人間情報研究所は、このALL PLAYERS WELCOMEの一環として行っている、ALS共生者など障がいを持つ人々のコミュニケーションをより豊かにするための研究開発プロジェクト「Project Humanity」において、Dentsu Lab Tokyoと連携している。

同研究所は、連携においてDentsu Lab Tokyoや武藤氏の所属するWITH ALSとともに、リアルタイムにメタバース上のアバターを操作できるツール開発した。

これは、NTTが元々別の狙いを持って取り組んでいた「筋電技術」を活用して生まれ、同研究所が筋電のセンシング(センサで測定対象を計測し、定量的な情報を取得する技術)を担い、Dentsu Lab Tokyoがその筋電信号をインプットとして、使いやすくカスタムしやすいUI(ユーザーインターフェース)の開発を行ったものだ。

「元々、弊社は筋電技術に関して『暗黙知』と言われる、個人の経験則や勘に基づくノウハウや身につけたスキルを知識として溜めこんで、他人に伝承していくということを目的として開発を進めていました。そこに田中さんが『羅針盤』として加わり、新たなコンセプトを提示していただいたことで、Project Humanityの方向性が決まりました」(日髙氏)

• 

  Project Humanityについて説明する日髙氏

筋電技術の新たな可能性を示した田中氏は「武藤さんに『もしまた自由に身体を動かせるようになったら何がしたいか』という質問を投げかけた時、武藤さんは『音楽パフォーマンス中に、盛り上がってくれている観客の声援に応えたい』と答えた。現実世界では難しい動作だが、NTTの筋電技術を活用すれば、メタバース上で実現できるのではないかと考えたのがきっかけとなっている」とその経緯を語っている。

Project Humanityでは、身体に生体情報を取得する筋電センサを6カ所装着し、自身の微細な筋活動によって得られる生体情報を操作情報に変換して、アバターの自由な操作を実現することができる。センシングしたデータをアバター操作情報に変換し、その操作情報を用いることで、メタバース上に生成した6種類のモーションを自由に発動できるシステムとなっているのだ。

「今回の取り組みは、単に『筋電技術の応用』が変わっただけではありません。この研究結果は、人と機械がどのように生活していくのかを考えるHCI(Human Computer Interaction)研究における重要国際会議のCHI Conferenceに採択され、研究の世界に新たな風を吹き込みました。私たちだけで研究をやっていたら気付くことができなかった『新たな扉を開く取り組み』になったと思います」(日髙氏)

クロスリンガル技術でALS共生者の声色を再現

ここまで、カンヌライオンズ 国際クリエイティビティ・フェスティバルでの音楽パフォーマンスを支えたシステムを紹介してきたが、これら以外にも今回のパフォーマンスの成功に外せないシステムがあった。

それが、NTT人間情報研究所が取り組む「クロスリンガル」と呼ばれる技術だ。クロスリンガルとは、同じ声質を保ちつつ異なる言語による音声合成を可能にするというもので、同イベントでは、声を発することのできないALS共生者が自らの声色で英語による対話を行う取り組みに用いられた。

「クロスリンガルは、本来の用途では、訪日外国人向けに英語・標準中国語・韓国語に対応し、エージェントやロボットのキャラクター性を損なわずに複数言語によるサービスを実現可能とする技術ですが、今回の取り組みでは、ALS共生者が人工呼吸器を装着した後も音声言語でのコミュニケーションを継続できるように、残されていた非常に少ない録画映像の音声から、NTTが開発した音声合成技術を活用して本人らしい声を再現しました」(日髙氏)

この取り組みも筋電技術の応用と同じく、NTT人間情報研究所が取り組んでいた技術にDentsu Lab Tokyoが新たなコンセプトを加えることで“新たな扉を開いた”一例だ。

「病が進行すると自力での呼吸が困難になるALSですが、共生者の方の中には『話せなくなる』『コミュニケーションが取れなくなる』といった観点から呼吸器を付けないという選択をされる方もいらっしゃいます。NTT人間情報研究所の技術を活用させていただくことで、そんな方々に選択のきっかけを与えられたらと思っています」(田中氏)

ここまでALL PLAYERS WELCOMEにおけるDentsu Lab TokyoとNTT人間情報研究所の取り組みを紹介してきたが、インタビュー中に印象的だったのは、両社ともお互いのことを非常にリスペクトしていることが伝わってきた点だ。

Dentsu Lab TokyoはNTT人間情報研究所に対して「技術力」を、NTT人間情報研究所はDentsu Lab Tokyoの「発想力」を高く評価し合い、互いに良きパートナーとして研鑽を積んできたことが分かる内容だった。特に日髙氏は「同じ方向性を向くためのきっかけをくれる存在」としてDentsu Lab Tokyoを認識し、田中氏は「長い時間をかけて技術をアップデートし続けるプロフェッショナル」としてNTT人間情報研究所を信頼していると力強く語っていた。

両社ともに「人間」を中心に据えた企画や開発を行っている組織であるからこそ、シナジーやシンパシーを生み出しているのだろう。

最後に両社にProject Humanityを通しての今後の展望を聞いた。

「まずは、なるべく多くの人に体験してもらえるようなシステムにアップデートしていきたいと考えています。やはり、このようなシステムは『汎用化される』ということが求められているものだと思います。さまざまな面からアップデートを加えて、1人でも多くの人の明日を良いものにできるシステムにできたらと思います」(田中氏)

「忘れてはいけないのは『できないのが当たり前』ということです。ALS共生者の方だけでなく、私たちも含めて、人間は1人では何もできません。だから色々な人と一緒に何かをするのです。だからこそProject Humanityに関しても、その対象をもっと広げて、より良い体験ができる人を増やしていけるような取り組みをしていきたいなと思っています。それがProject Humanityの方向性でもありますし、研究所として全体的に方針はそういう方向に行くのではないかなと思っています」(日髙氏)