AI の適用事例がエンタテインメント業界にまで広がっています。日本を代表するエンタメ企業であるエイベックスでは、クリエイティブカンパニー NAKED,INC.（ネイキッド）と共同で AI を活用した「HUMANOID DJ」を開発しました。HUMANOID DJ は、AI DJ "LUCYルーシー"が観客の感情を解析し、機械、データ、ネットワークとも繋がり、姿形や空間自体も変容させ、その瞬間、その空間でしか体験できない音楽を創り出す、ジャンルや時代を越えた新たな"音楽体験"を生み出すプロジェクトです。日本マイクロソフトが2021年に開催した「Microsoft Japan Digital Days」のクロージングセッションでは、アーティスト・大塚 愛 さんと HUMANOID DJ が参加したスペシャルライブが実施され、その実力が披露されました。

アーティスト・大塚 愛 さんと HUMANOID DJ がコラボしたスペシャルライブを開催

テクノロジーとエンタテインメントの間には深い関係性があります。新しいテクノロジーが登場すると、その都度新しい表現方法が考案され、エンタテインメントのあり方をより豊かにしてきました。デジタルテクノロジーが人々の大きな関心を集める今日、エンタテインメントのあり方はどう変わっていくのでしょうか。

その未来像の一端を垣間見られる取り組みを進めているのがエイベックス・グループです。2017 年に新しいタグライン「Really! Mad+Pure」を定め、新たなブランドロゴも発表した同社は、事業ドメインを「音楽」「アニメ・映像」「デジタル・プラットフォーム」に集約し、「Entertainment×Tech×Global」をキーワードにコンテンツやサービスの魅力や価値の最大化を追及しています。

グループではデジタルテクノロジーを活用した多くの取り組みが進められていますが、そのなかでも新しい表現と演出、体験の創出という点で注目できるプロジェクトが「HUMANOID DJ」です。HUMANOID DJ は、エイベックスとネイキッドが共同で展開するプロジェクトです。HUMANOID DJ のテクノロジー基盤には、マイクロソフトの Azure Cognitive Services を中心としたクラウド・AI 技術がフル活用されています。

HUMANOID DJ はどのような音楽体験をもたらすのでしょうか。その答えを多くの人が知る機会となったのが、マイクロソフトが 2021 年 10 月 11 日～14 日に行なったオンラインイベント「Microsoft Japan Digital Days」です。イベント全体を締めくくるクロージングセッションとして、アーティストの大塚 愛 さんと HUMANOID DJ がコラボレーションするスペシャルライブ「HUMANOID DJ × 大塚 愛 special live」が開催されたのです。

ライブ動画からもわかるように、大塚 愛 さんのパフォーマンスに合わせて、演出が次々と変化し、背面のディスプレイにさまざまなテキストや映像が映し出されていきます。大塚 愛 さんの表情や動きから「驚き」「幸福」「驚き」といった感情を読み取り、感情に沿って映像が変化しています。また、背景に流れるテキストはイベント開催中につぶやかれたツイートを収集・分析し、観客のコメントがライブを演出する要素の一つとなる参加型の演出も披露していました。

なぜ LUCY が生まれたのか、そして、LUCY によってどのような未来が描き出されるのでしょうか。HUMANOID DJ の発想のきっかけから、開発秘話、イベント当日の舞台裏、エイベックスとネイキッドがデジタルテクロジーで目指す地平について、スペシャルライブを作り上げた関係者に話を聞きました。

さまざまな要素とコネクトし、進化し続ける次世代型 AI アーティスト

HUMANOID DJ は、次世代型 AI アーティストです。姿形こそコンピュータとモニターで構成された DJ ですが、あたかも人間のように、ライブに参加した観客の表情などから感情を読み取って、演奏している曲目や演奏方法を変えたり、照明や機材を操作したりすることができます。

観客の感情を読み取る際には、AI の感情認識を利用します。観客一人ひとりをカメラで撮影し、観客が見せる表情筋の微妙な動きなどを AI で分析して、その人が喜んでいるか、驚いているか、幸福感を感じているかなどを把握し、それに応じて HUMANOID DJ が空間を演出します。

HUMANOID DJ が生まれた背景について、エイベックス・エンタテインメントの油井 誠志 氏はこう話します。

  • エイベックス・エンタテインメント株式会社 レーベル事業本部 室長兼ゼネラルプロデューサー 油井 誠志 氏

    エイベックス・エンタテインメント株式会社 レーベル事業本部 室長兼ゼネラルプロデューサー 油井 誠志 氏

「テクノロジーとグローバルという 2 つのキーワードが事業の方向性としてありました。テクノロジーによって業界の垣根がなくなっていく時代にあって、音楽業界、エンタメ業界はこれまで通りにいかないことを強く感じるようになっていました。また、国内だけでなくグローバルで活躍できる IP（知的財産）を開発することも求められていました。そんななか、ネイキッドさんと出会うなかで、AI アーティストというアイデアが生まれます。それ以降、モノをつくって売るだけではなく、さまざま業種の方とつながりながら、コトや体験を提供するエンタメ事業として展開していくようになったのです」（油井 氏）。

HUMANOID DJ が初めて聴衆の前でパフォーマンスを披露したのは 2019 年です。上海で開催されたデジタルアート展「OCEAN BY NAKED 如海・空間」において会場の 94F展望台をジャックしたパフォーマンスを披露。その後、幕張メッセで開催された音楽フェス「DIVE XR FESTIVAL」に出演し、観客の感情と音楽・照明・映像演出を連動させることで会場を盛り上げました。

2020 年 1 月には日本橋で開催された花の体感型アート展「FLOWERS BY NAKED 2020 ―桜―」においてライブパフォーマンス「LIVE BY HUMANOID DJ 花宴」を披露。10 月には、姫路城を舞台に行なわれたイベント「HIMEJI CASTLE NINJA NIGHT 2020」でもライブパフォーマンスを披露します。ネイキッドの川坂 翔 氏は、こうした取り組みを通して AI 自身が大きな進化を遂げてきたと話します。

  • 株式会社ネイキッド クリエイティブディレクター 川坂 翔 氏

    株式会社ネイキッド クリエイティブディレクター 川坂 翔 氏

「観客の表情を読み取ってそれにあった音楽を流すという仕組みがベースにあります。ただ DJ が扱うのは観客の表情や音楽だけではありません。モーションセンサーをつけたパフォーマーや、会場の照明、映像など、あらゆる空間を盛り上げるための要素がありますが、HUMANOID DJ はそれらをつなげることができます。さまざまな要素や場所と多方面でつながることで、パフォーマンスを豊かなものにしていくことができるのです」（川坂 氏）。

AI は人知を超えたエンタテインメントを生み出す可能性を秘めている

HUMANOID DJ は完成形がなく、その都度進化していくアーティストです。油井 氏は、進化をうながすキーワードとして「コネクト」を挙げます。

「『音楽は最大の 2 番手』という言葉もあるように、HUMANOID DJ は何かほかのものに付属することでより力を発揮することが特徴の 1 つだと思っています。場所や人、地域などにコネクトし融合することで、エンタメとしての存在感を高めていくことができます。必ずしもライブだけではなく、例えば、ビジネスシーンにおける商談の場で、静かで気の利いた空間演出に利用するといったこともできるはずです。空間をつくりあげることで、人や場をいかに豊かにしていくかは開発の大きなコンセプトの 1 つです」（油井 氏）。

空間の演出は生身の人間が行なうこともできますが、そこで AI を用いることで、これまでにない価値創出につながるといいます。照明や音響、映像のすべてを人間ひとりが同時に操作することはできませんが、AI なら可能です。また、離れた場所で同時にパフォーマンスを行なうことや、1 人の人間のキャパシティを超えた表現することも可能です。

川坂 氏は「AI を使った実験的な取り組みでもあります」としながら、こう続けます。

「AI は人知を超えたエンタテインメントを生み出す可能性を秘めています。そのなかから新しいクリエイティブも生まれてくると思っています。AI 側の進化ははやく、人間ができることがどんどん代替されていっています。そんななか人間は何をしていけばいいのか。それを考えることが面白く、面白いからこそ、新しいクリエイティブが生まれてくると思います」（川坂 氏）。

LUCY というネーミングは、人類の起源となった最古の猿人（アウストラロピテクス）にちなんでいて、「これから大きく進化していく」というイメージを重ねているといいます。また、LUCY の顔ともいえるスコープの周りには複数の羽が伸びているようにみえますが、これは、ネイティブアメリカンの羽飾り（ウォーボンネット）がモチーフになっており、あたかもドラッドヘアの DJ が髪を振り乱してパフォーマンスしているようにも見えます。

メカニカルな容貌と人間らしいしぐさを併せ持った HUMANOID DJ は、コンセプトおよびビジュアルイメージそのものが、AI と人、テクノロジーとエンタテインメントをコネクトし、融合する姿を表現しているともいえるのです。

  • AI DJ「LUCY（ルーシー）」

    AI DJ「LUCY（ルーシー）」

使いやすいインタフェースと安定性を評価、Azure サービスをフル活用

HUMANOID DJ は新たなイベントへの参加とともに少しずつ進化してきましたが、Microsoft Japan Digital Days への参加も大きなチャレンジになったといいます。システム基盤周りを担当しているエイベックス・デジタルの山田 真一 氏はこう説明します。

  • エイベックス・エンタテインメント株式会社 事業管理本部 デジタルクリエイティヴグループ ゼネラルマネージャー 山田 真一 氏

    エイベックス・デジタル株式会社 事業管理本部 デジタルクリエイティヴグループ ゼネラルマネージャー 山田 真一 氏

「オンラインイベントへの参加は初めてのことでした。オンラインの場合、HUMANOID DJ のベースとなっていた、観客の表情から感情を読み取るという仕組みが使えませんので、新しい仕掛けが必要でした。そこで取り組んだのが、パフォーマーの表情を読み取って演出を変えることと、観客の感情をカメラではなく SNS のテキスト情報から読み取ることでした。具体的には、大塚 愛 さんが歌っている際の表情を会場に設置したカメラで読み取り、リアルタイムに解析して、照明や音響に反映できるようにしました。また、観客の反応を得るために Twitter のハッシュタグから情報を抽出し、ネガポジ分析などを施しながら、イベントの雰囲気をパフォーマンスとともに伝えられるようにしました」（山田 氏）。

山田 氏によると、HUMANOID DJ をシステム的に捉えた場合、「その場、その時の人や環境、データとつながり、即興で空間を演出するシステム」となります。さまざまデータを収集するために Azure IoT Hub を利用し、収集されたデータの処理や分析には、Azure Cognitive Services を利用しています。HUMANOID DJ のコアアプリケーションも Azure 上のサービスとして稼働しています。

「Azure のサービスは安定していて、使いやすいインタフェースを備えています。また、短い期間で開発できることもメリットです。今回のイベントでは、キーボードの演奏、大塚 愛 さんの表情と動き、Twitter のハッシュタグなどをセンサーデータとして収集し、リアルタイムにHUMANOID DJ と連携させました。例えば、IP カメラから App Service を通して大塚 愛 さんの表情データを収集し、Azure Cognitive Services の Face API を使って処理しています。また、ツイートは、同じように App Service から Text Analytics API を使って分析・加工し、映像として表示しています。ライブ映像を見ると後から加工した AR のように見えるかもしれませんが、実際にはその場でリアルタイムに処理を行なっています。AI を活用することで、その場にいるからこそ体験できる見せかた、その瞬間にしかできない表現を提供できるようになります」（山田 氏）。

  • システム構成図

    システム構成図

優れた DJ のパフォーマンスをアーカイブし、レガシーとして後世に残していくことも

HUMANOID DJ にスペシャルライブへの参加をオファーした、日本マイクロソフト株式会社 Azureビジネス本部プロダクトマーケティング部 部長の田中 啓之 氏は、その狙いと効果をこう話します。

「エイベックスさんとは、以前からライブ会場での観客の表情分析などの実証実験に取り組んできた経緯があります。Microsoft Japan Digital Days としてテクノロジーを活用したエンタテインメントの姿を考えたとき、エイベックスさんに登壇いただくことはごく自然な流れでした。ただ、イベントはすべてオンラインで、観客もいません。会場でどのようなライブになるのかはまったくの未知数でした。そんななか HUMANOID DJ と大塚 愛 さんのスペシャルライブとして実現してくれたことは、さすがエイベックスさんだと感心しました。来場者からもクロージングセッションまで楽しんで聴講できたという声が非常に多く、イベントとして大きな成功を収めることができました」（田中 氏）。

大塚 愛 さん自身、AI をはじめとした新しいテクノロジーやこれまでにないチャレンジには楽しんで前向きに取り組むスタンスだといいます。大塚 愛 さんのアーティスト担当でもある油井 氏は「最初は不思議な顔をしていましたが『センサーを使って動きや感情を読み取って』と説明していくと、内容をきちんと理解してくれました。当日も想像以上に楽しんでパフォーマンスしてくれたようで、本人からも次のコメントをもらっています」（油井 氏）。

「ライブ中はいつも通りにパフォーマンスに向き合いましたが、とても楽しかったです」(大塚 愛 さん)。そして、今後のエンタテインメント×AI やテクノロジーの可能性については、「例えばライブの背景が宇宙空間など別の場所になったり、パフォーマンスしている自分が一瞬でバーチャル（なアバター）に切り替わったりと、現実なのかうそなのか分からなくなっていくエンタテインメントの新しい形にとても期待しています。これからの発展が楽しみです」と、大塚 さんは振り返ります。

  • アーティスト 大塚 愛 さん

    アーティスト 大塚 愛 さん

曲目は、Microsoft Japan Digital Days のコンセプトやオンライン参加者の顧客層、HUMANOID DJ との親和性などを考慮して「タイムマシーン」「なんだっけ」「さくらんぼ」を選定。なかでも「さくらんぼ」は、Microsoft Japan Digital Days 向けに専用にアレンジしたオリジナルバージョンになっていて、聴講したファンからも高く評価されたといいます。

HUMANOID DJ の取り組みは、AI テクノロジーをエンタテインメント領域に適用して、新しい表現方法や演出方法を創出した非常に希有な事例です。油井 氏は、将来的な展開を次のように展望します。

「演奏のログデータなどはすべて蓄積されているので、それを機械学習して新しい表現や演出を生み出すこともできます。世界の優れた DJ のパフォーマンスを蓄積してアーカイブしたり、レガシーとして後世に残していくこともできます。HUMANOID DJ なら、これまでのエンタメ業界の課題も解決できるし、これまでできなかった世界を実現できる。ただ、そのためには誰かとつながっていくことが欠かせません。存在だけでは作品や体験は生まれません。ミュージシャン、オーディエンス、テクノロジーベンダーなどとコネクトしながら、新しい共生のあり方を探っていきたいと思います」（油井 氏）。

[PR]提供：日本マイクロソフト