産総研、多数のデバイスで簡単に音楽連動を実現するプラットフォーム公開-スマホからロボットまで横断して同期

産業技術総合研究所(産総研)は、多数のデバイスに対して音楽との同期を手軽に実現する大規模音楽連動制御プラットフォーム「Songle Sync(ソングルシンク)」をWeb上で一般公開した。Songle Syncのサイトにアクセスすれば誰でも無料でこのシステムを利用することができる。

8月2日に産総研つくば中央第二事業所で行われた報道機関向け説明会では、参加者持参のスマートフォン、パソコン、IoT機器(インターネット接続されたロボットや照明器具、電動カーテンなど)といった100台以上のデバイスを会場で音楽に連動させ、一体感を作り出す演出が披露された。

既存のライブ演出の課題を解決すべく開発

同技術については、産総研・情報技術研究部門 首席研究員の後藤真孝氏から詳しい説明があった。すでにライブイベントなどでは音楽と映像、照明、ペンライトなどを同期させた一体感のある演出が行われるようになっている。また音楽に合わせてダンスするロボットなどの開発も進んでいるが、従来これらのための専用システムが個別に開発されている状況で、演出手段が固定されており、システムの拡張性が乏しいという問題があった。このため、一度作られたシステムがその後多くの機会で再利用され、さらに発展していくというような状況も生まれ難かった。

多種多様なデバイスを音楽と同期させるとなると、事前に楽曲を決めた上で同期用のプログラムを作っておく必要があり、好きな楽曲をその場で適当に選んで同期させることはこれまでは不可能とされていた。また、このような大規模な音楽連動システムのためのプログラムをゼロから作るのは、非常に時間とコストを要する作業であり、そうしたプログラミング作業を支援する開発キットも存在していなかった。

これらの問題を解消して、多種多様なデバイスの大規模な音楽連動制御を実現するのが、今回公開されたSongle Syncのプラットフォームであるという。

音楽理解技術と大規模音楽連動技術を融合

技術的な核はふたつあり、ひとつは2012年に産総研が発表した音楽理解技術「Songle」である。これに今回新たに開発したもうひとつの核である大規模音楽連動技術を融合させることにより、Songle Syncのプラットフォームが実現した。

音楽理解技術Songleは、ビート、拍、サビといった楽曲に含まれる特徴をコンピュータが自動的に理解できるようにする解析技術である。すでにインターネット上で聴くことのできる100万曲以上の楽曲が解析済みとなっており、今回のプラットフォームでは、これらの解析済みの楽曲の中から好きなものを自由に選んで利用することができる。

現在チュートリアル用に公開されているサイトでは、解析済みの楽曲100万曲以上の中から検索窓などで好きなものを選び、次にあらかじめ用意されている5種類のアニメーションの中から1つを指定すると、楽曲の内容に同期して変化する映像を表示するためのアクセスキー(WebページのURL)が発行される。曲の再生途中でサビの部分までスキップするというような操作をしても、アニメーションはそれに追従した動きを見せる(アニメーションの種類は今後順次増やしていく予定)。

この段階では楽曲を選んだ人(ホストユーザー)のデバイス1台が音楽と連動した映像を表示している状態だが、生成されたアクセスキーで他の複数のユーザーがWebにアクセスすることで、多数のデバイスが同時に楽曲と同期した状態になる。ホストユーザーが楽曲の再生・停止などの動作を行うと、他の参加者のデバイスにもそれが同時に反映される。楽曲の再生中に、新しいデバイスが途中から参加することもできる。

スマホやパソコンに標準装備されているWebブラウザを使ってアクセスするだけなので、専用システムのインストールなどは必要ない。利用者側の意識としては、QRコードやリンクURLを介して通常のWebサイトにアクセスしているのと同じ感覚で、音楽とデバイスとの連動が手軽に実現できることになる。

断続的な通信環境でデバイスが自律的に連動

ここで技術的に難しいのが、デバイス間の同期ズレが生じないようにすることである。連続的な音楽再生に合わせた同期演出は、常時接続の高速通信環境であれば簡単に実現できるが、スマートフォンのように非同期通信が断続的に繰り返されているような環境では、デバイスごとのズレが生じやすいためである。

そこで今回の技術では、Songle Syncのサーバからそれぞれのデバイスを個別に制御することでズレを抑え、全体の同期をとるようにした。ただし、通信が常時つながったままの状態だと参加デバイスの数が増えていったときにリソースの食いすぎでシステムが破たんしてしまう。これを避けるため、Songle Syncではデバイスとサーバ間の通信を断続的に何度も繰り返して行うようにしている。

サーバと通信していない間はデバイス側が自律的に楽曲に連動できるようにし、サーバからの通信がそこに時々入ってきてズレが出ないよう管理する仕組みになっている。これによって、サーバにアクセスしてきた多数のデバイスの間でズレが生じないような大規模音楽連動制御を実現しているという。

後藤氏からは、「今回行ったデモンストレーションではデバイスごとのズレは数十ミリ秒以下に抑えられている」との説明があった。サーバとデバイスの間の情報送受の時間を記録していき、その記録から時間のズレを割り出すロバスト推定の手法を使って時間調整をかけているという。

サーバの性能・容量によって、同時に連動制御できるデバイスの個数には上限がある。1台のサーバを使った連動制御では百数十台までのデバイスでの同期が実証されているが、デバイスの数をさらに増やし、数百台から数千台規模を同時に制御する場合にどういったことが起こるかは実際に試してみないとわからないところがある。こうした大規模な連動を実証することも今回プラットフォームを一般公開した目的のひとつであるという。

実際にこのプラットフォームでデバイスの連動制御を行う場合には、ユーザーがその場限りの演出を行うための「ステージ」と呼ばれる空間をサーバ上に設ける。複数のデバイスが同じステージに入ってくると、そこで同期が起きる。さらにいくつかの異なったステージを同時に設けて、それぞれが独立に同期するといった動きもできる。

現在の理論値として、例えば1台のサーバに3ステージを同時に作り、1ステージに1万台のデバイスを収容して全体で3万台のデバイスを同期させることも可能なサーバにはなっているという。数万単位のデバイスを1台のサーバで動かすことが難しい場合には、サーバを多重化して対応することも技術的に検討している。後藤氏は「今後、実際に数千から数万人規模のイベントなどでこのシステムが使われることになった場合には、利用状況に応じてサーバを用意するといったことも実証実験として取り組んでいきたい」と話していた。

プログラマー向けの開発キットも無償提供

システム開発者に対しては、今回のプラットフォームを使ってさまざまなIoTデバイスを音楽と連動させるプログラムを容易に書けるようにするため、開発キットの無償提供も行っている。

プログラマーがSongle Syncを利用することの利点としては、楽曲ごとの複雑で細かい時間管理プログラムを書かなくてよくなるということが挙げられる。プログラマーは「小節の先頭にはこの動作」「サビの部分が来たらこの動作」というように楽曲中のイベントに対応した動作を指示するプログラムを書くだけでよくなる。楽曲再生中は、この指示に応じてSongle Syncのプラットフォーム側が必要なプログラムを自動で呼び出し、音楽に同期させて実行してくれる。

また多数のデバイスを同期させる場合、通常はそれらのデバイス間での通信プログラムも書かなければならないが、これもSongle Syncを使うことで意識する必要がなくなる。自分のデバイスと音楽が同期するようにさえしておけば、そこに他のデバイスが後から多数参加してきても問題なく連動が実現できる。

チュートリアル用サイトでは、プログラマー向けに音楽連動アプリの作成を気軽に体験できるコーナーが用意されている。また、Webブラウザ向け、IoTデバイス向け、ロボット向けのサンプルプログラムもいくつかGitHub上で公開している 。プログラミングはJavaScriptで行うので、スマホやパソコンなどWebブラウザ搭載機器、あるいはRaspberry PiやIntel Edisonなどで制御できるIoTデバイスであれば、どんなものでも音楽と連動させることができる。

今回のデモンストレーションでは、アニメーション映像以外にも、リズムに合わせて動くロボット、LED照明、楽曲のサビに同期して開く電動カーテンなど、さまざまな機器を同時に音楽と連動させた演出が披露されていた。

4つの利用シーンを想定

研究チームでは、同技術の利用シーンとして「ライブ・イベント会場」「ショッピングモール・店舗」「カフェ・飲食店」「街中・屋外イベント」という4つのケースを想定しており、それぞれのシーンで音楽とデバイスの連動によって新たな付加価値のある演出ができると提案している。

特にライブ・イベント会場では、開演後にはもちろん音楽と連動させたいろいろな使い方があるだろうが、それ以外にも「開演前の待ち時間や会場入場前の待機列など、これまで時間をもてあましていたようなシーンでこの技術を使うことで、イベントに新たな付加価値を提供できるのではないか」と後藤氏は指摘していた。

なお、同技術で使用できる楽曲はあらかじめSongleによる解析が行われていることが前提となる。したがって、ライブ会場でコンピュータとつながっていない生演奏とデバイスを同期させるような使い方は、当然ながらできない。ただし、最近のライブでは、コンピュータ制御された打ち込み音源と生演奏を同時に使うようなケースも多いので、そうした場合は打ち込み音源のほうをあらかじめ解析しておくことで演奏全体とデバイスが同期した状態を作り出すことは可能であると考えられている。

研究チームは、インターネット経由で音楽に連動制御される端末・デバイス群によって構成されるネットワークを、音楽版のInternet of Things(IoT)という意味で「Internet of Musical Things (IoMT)」と名付けている。今後はこのIoMTの利用事例を開拓していくことが研究の課題となる。産業界と連携しながら、上記4つの利用シーンを中心に、Songle Syncのさまざまな応用展開を進めていきたいとしている。