エイベックスは「Microsoft Japan Digital Days」の中で、AIを活用したライブ演出プログラム「HUMANOID DJ(ヒューマノイドDJ)」とシンガーソングライターの大塚愛さんの共演ライブを披露しました。

  • Microsoft Japan Digital Daysのフィナーレを飾った、大塚愛さんとヒューマノイドDJの共演ライブの様子

Microsoft Japan Digital Daysは、10月11日～14日にかけて開催された、日本マイクロソフト主催のオンラインイベントです。130以上のオンラインセッションで、Microsoft Azure(アジュール)やWindows 11、Microsoft Office、Surfaceといった最新技術・製品が紹介されました。主にビジネスユーザーや開発者向けのイベントですが、テレビ番組のようなスタジオを用意して、技術に興味がある多くの人が楽しめる構成となっていました。

大塚愛さんとヒューマノイドDJは、このイベントのクロージングプログラムに登場し、イベントのフィナーレを飾りました。オンラインイベントならではの演出も盛り込まれています。

ヒューマノイドDJとは

ヒューマノイドDJは、エイベックスとNAKEDがプロデュースする「AIアーティスト」。ステージの歌手やその場にいる観客の感情などを解析して、そのときだけしか体験できない演出を披露するシステムです。2019年1月にプロジェクトがスタートし、これまでいくつかのイベントでライブパフォーマンスを演出してきました。

もともとは「その時にしか味わえないライブを」という思いから開発が進められてきたプロジェクトですが、昨今の新型コロナウイルス感染症の流行もあり、リアルな会場でのライブが難しくなりつつあります。そこで今回は、マイクロソフトのオンラインイベントという場を借りて、オンラインならではの演出にも挑戦しています。

  • 大塚愛さんの後ろの画面に、ヒューマノイドDJがさまざまな映像や演出を描き出す

演者にあわせて光が舞う

今回、大塚愛さんが歌ったセットリストは3曲。ヒューマノイドDJはそれぞれ曲で違った演出を試みて、ライブを盛り上げました。

1曲目の『タイムマシーン』は、移り変わる都市をモチーフとして、一歩一歩前に進む前向きな気持ちを表現した曲です。この曲ではキーボードの演奏とヒューマノイドDJによる光の演出の同期に挑戦。キーを叩いた瞬間にブロックが飛び散ったり、形作られたビルが溶けていくような光の演出が流れて、この曲の持ち味の疾走感を引き立たせました。

  • 『タイムマシーン』の演奏の様子。キーボードと連携し、演奏のタイミングにあわせて演出が変化

  • キーボードの入力と同期する光の演出

2曲目は、2021年6月リリースの新曲『なんだっけ』。SNSが当たり前になった日常の中で、ふと感じるような孤独やさみしさを素直な言葉でつづった曲です。この曲では大塚愛さんが着用した時計型デバイス(モーションセンサー)の動きに連動して、光が波紋のように散りばめられたり、照明の加減が変わったりする演出が盛り込まれました。

  • 『なんだっけ』の演奏の様子。大塚愛さんが着用したモーションセンサーと連携し、大塚愛さんの動きにあわせて演出が変化

3曲目は誰もが知っているヒット作『さくらんぼ』。今回はイベントのテイストにあわせて、テクノ調のアレンジで演奏されました。この曲ではTwitterの書き込み(ツイート)を演出に取り入れるという、イベントならではの演出に挑みました。

イベントのハッシュタグ「#MSDD2021」でつぶやかれたツイートをもとに、イベント関連のツイートを散りばめるような表現が見られたほか、言語解析によって形作られたワードクラウド（文章のなかで出現頻度が高い文字を大きく映し出す方法）を映し出す表現も。

このワードクラウドは「Azure」や「リモートワーク」のようなそれらしい特徴語が並んでいますが、よく見ると「申込」といった言葉も。イベントの告知ツイートの「申込はこちら」が拾われていたとしたら、ちょっとお茶目ですね。

  • 『さくらんぼ』ではツイートを演出に採り入れた。イベント関連のツイートが見られるなか、中央をよく見ると「申込」というキーワードも

また、この曲のパフォーマンス中には、大塚愛さんの表情を読み取って、その後の演出を変える試みが何度かありました。大塚さんの表情をAIが解析した結果を、スクリーンにそのまま映し出す様子は未来感がありカッコいい演出となっていました。

顔認識のしめくくりは、大塚さんの表情に応じて、光で描かれた絵文字がたくさん飛び出す、ライブ配信アプリを具現化したかのような演出に挑戦。真剣に歌っていた顔を認識したからか、怒り気味の顔文字がブワッと飛び出していました。

MicrosoftのクラウドAzureが支えるライブ演出

ヒューマノイドDJの影の立役者は、マイクロソフトのクラウドサービス、Azureです。ライブ演出で使われたカメラ、ツイート、モーションセンサー、キーボードの情報はすべて、Azureを通して演出に反映されています。

  • ヒューマノイドDJはAzureのクラウド基盤が支えています

AIを用いた解析も、Azure上で行われていました。Azureには「Cognitive Services」という、専門知識がない人でもAIを使えるようにするサービスが提供されています。たとえば、表情の変化を読み取る顔認識エンジンは、カメラが認識した顔から表情を判別するAPIを活用。ツイートからのワードクラウドの生成は自然言語解析のAPIが用いられています。

“そのときだけのライブ演出”で体験を盛り上げる「ヒューマノイドDJ」。初のオンラインライブの後に、仕掛け人の二人にライブの感触を聞きました。

  • エイベックス・デジタル 事業管理本部デジタルクリエイティヴグループ ゼネラルマネージャー 兼 デザイン戦略ユニット マネージャー 山田真一氏(左)と、NAKED Inc. Creative Director 川坂翔氏(右)

プロジェクトを統括するエイベックス・デジタルの山田真一氏は「ヒューマノイドDJがテーマとするのは“Connect”です。当初はカメラを使って感情を分析するところからスタートしました。感情分析もユニークな表現ですが、できればもっといろんな情報を取り入れて、豊富に変化する演出としていきたい。そう考えて、IoTデバイスを取り入れるなど、デモンストレーションを行うたびにさまざまな仕掛けを追加していきました。今はコロナ禍でマスクを着用しなければならないという制限もあって、観客の表情認識は難しい状況ですが、それも技術の進化で乗り越えられると考えています。今後も新しい変化を取り入れつつ、HUMANOID DJを育てていきます」とコメントしました。

演出を担当したNAKEDの川坂翔氏は、「Twitterからのライブ演出に取り組んだことは、意義があったと考えています。これまでのヒューマノイドDJでは、観客の表情解析を通して、ライブに参加する臨場感を味わってもらえればと開発してきました。コロナ禍でそれが難しくなっていたところで、新たなあり方を考えつづけてきました。今回はその答えのひとつを形にできました」と実感を語りました。

コロナ禍を乗り越え、大きな変化を迎えつつある社会。オンラインでのコミュニケーションは、新たな生活様式のひとつとして定着しつつあります。ヒューマノイドDJが目指すようなアーティストとテクノロジーの共演は、新たなステージに踏み出すことになりそうです。