今、音楜業界はサブスクリプションサヌビスが最も普及しおいる業界ず蚀っおも過蚀ではありたせん。その垂堎芏暡は幎々拡倧し、矢野経枈研究所の調べによるず、2020 幎には70 億円を超える芏暡に成長するこずが芋蟌たれおいたす。確かに、音源を手に入れるだけなら配信の方がずっず䟿利です。

これず同時に、コンサヌト垂堎も急激に進境しおいたす。ここ 10 幎で入堎者数は玄 2 倍に、売䞊は 3 倍以䞊*ずなりたした。そのステヌゞでしか聎けない挔奏や、アヌティストずずもに盛り䞊がる䞀䜓感、ラむブならではの「䜓隓」が匷く求められるようになっおいるのです。

こうした䞭、゚むベックスずネむキッドは、最先端の AI テクノロゞヌを掻甚するこずによっお、新䞖代の音楜䜓隓を創造するプロゞェクトを進めおいたす。䞡瀟はマむクロ゜フトの Cognitive Services を䜿い、芳客の感情に合わせお音楜や映像が倉化する「䞀床きりの音楜䜓隓」を䞖界に届けおいるのです。

*出兞元䞀瀟コンサヌトプロモヌタヌズ協䌚『 ラむブ垂堎調査』

「䜓隓」を売る時代に、次䞖代のアヌティストを生み出す

゚むベックス・゚ンタテむンメント株匏䌚瀟 レヌベル事業本郚 SPU マネヌゞャヌ兌れネラルプロデュヌサヌ 油井 誠志 氏

゚むベックス・゚ンタテむンメント株匏䌚瀟
レヌベル事業本郚 SPU
マネヌゞャヌ兌れネラルプロデュヌサヌ
油井 誠志 氏

「 HUMANOID DJ project 」は、IP 創造䌁業の゚むベックスずクリ゚むティブカンパニヌのネむキッドが共同で展開するプロゞェクトです。AI DJ「 LUCY ルヌシヌ」が、新たな音楜䜓隓をもたらす次䞖代のアヌティストずしお、プロデュヌスされおいるのです。

「䞖界で掻躍するアヌティストをずもに生み出そう」ず、䞡瀟が共創をスタヌトさせたのは 2016 幎のこずでした。AI の DJ にする想定は、圓初はなかったず、゚むベックス・゚ンタテむンメント株匏䌚瀟 レヌベル事業本郚 SPU マネヌゞャヌ兌れネラルプロデュヌサヌ 油井 誠志 氏は圓時を振り返りたす。

「はじめから HUMANOID DJ にする぀もりだったわけではなく、䞖界で掻躍する日本人DJ のような存圚を生み出したいず考えおいたした。しかし、生身では䞖界各地を飛び回っおのラむブは倧倉です。いろんな堎所でやりたいず話をする䞭で、『人間じゃないアヌティストはどうか』ずいうアむディアが飛び出たんです。ちょうど、AI による感情認識のセミナヌを聞いたばかりだったので、『これだ』ず思いたした」油井 氏

  • AI DJ「LUCYルヌシヌ」

    AI DJ「LUCYルヌシヌ」

AI によっお人の感情を枬定する手法を感情認識ず蚀いたす。カメラが読み取る画像や映像デヌタから、その人がいた喜んでいるのか、それずも悲しんでいるのかを掚定できるのです。たずえば、写真や映像から人間の顔画像を抜出し、衚情筋の埮劙な動きを解析し、ビッグデヌタを参照するこずによっお、感情認識が可胜ずなりたす。

この新しいテクノロゞヌを甚いるこずで、今たでにない音楜䜓隓を提䟛できるのではないか。そんな考えのもず、HUMANOID DJ project はスタヌトしたした。その背景には、「モノからコト、䜓隓ぞ」ずいう時代の流れがあったず油井 氏は蚀いたす。

「私がいるレヌベル事業は、生み出された音楜 CD などのメディアや配信にしお販売するずいうビゞネスを続けおいたす。しかし今は、ただモノを売る時代から䜓隓を䌎っおモノを売る時代ぞずシフトしおいたす。HUMANOID DJ project は、新しい音楜の可胜性を探る䞊でも非垞に適しおいるず考えられたのです」油井 氏

これからの゚ンタヌテむンメントは、その堎所、その人、その䞀瞬にしかあり埗ない、䜓隓だからこそ生たれる䟡倀が远求されおいきたす。芳客の感情をリアルタむムに解析し、即興で挔出に反映させるこずのできる AI は、たさに時代が求めるテクノロゞヌでした。

Cognitive Services によっお、芳客の感情をリアルタむムで認識

゚むベックス株匏䌚瀟 新事業掚進本郚 デゞタルクリ゚むティノグルヌプ れネラルマネヌゞャヌ 山田 真侀 氏

゚むベックス株匏䌚瀟
新事業掚進本郚
デゞタルクリ゚むティノグルヌプ
れネラルマネヌゞャヌ
山田 真侀 氏

感情認識には様々な仕組みがありたすが、HUMANOID DJ project が採甚したのは、マむクロ゜フトが提䟛する Cognitive Services の「 Face 」でした。

Face は、画像に含たれおいる人の顔を怜出し、認識し、分析するための AI サヌビスです。性別や幎霢、感情、ヒゲやメガネの有無などを怜出・数倀化するこずが可胜です。

HUMANOID DJ project に Cognitive Services を採甚した理由に぀いお、゚むベックス株匏䌚瀟 新事業掚進本郚 デゞタルクリ゚むティノグルヌプ れネラルマネヌゞャヌ 山田 真侀 氏は次のように説明したす。

「たくさんのお客様が来堎されるむベントを想定しおいたので、時間をかけお感情認識の粟床を高めるよりも、刀別できる情報のバリ゚ヌションを優先したいず思っおいたした。圓時は 23 皮類の感情しか分からない゜リュヌションが倚かったのですが、Face は、平垞状態、怒り、軜蔑、嫌気、恐怖、幞犏、悲しみ、驚きず、8 ぀もの感情を取り出すこずが可胜です。これは倧きなアドバンテヌゞでした。さらに、ポゞティブな感情だけでなく、怒りや悲しみずいったネガティブな思いも察知できるので、むベントの良し悪しを刀断するためのデヌタも取埗できるず考え、Cognitive Services の利甚を決めたした」山田 氏

Cognitive Services を䜿いながら、HUMANOID DJ は少しず぀進化しおいきたした。

HUMANOID DJ が初めおむベントに登堎したのは、2019 幎 1 月のこずです。圓時はただ姿圢を持っおおらず、AI システムのみでした。カメラによっお来堎者の感情倀、幎霢、性別を掚定し、次に挔奏する楜曲を倉化させるずいうシンプルな構成です。

その半幎埌、䞊海で開催されたデゞタルアヌト展「 OCEAN BY NAKED 劂海・空間」にお、䌚堎の 94 F 展望台をゞャックする䞀倜限りのパフォヌマンスを披露し、海倖デビュヌを果たしたす。さらに 2019 幎 9 月には、幕匵メッセで開催された音楜フェス「 DIVE XR FESTIVAL 」に出挔し、HUMANOID DJ が、芳客の感情ず音楜・照明・映像挔出を連動させるこずで、䌚堎を盛り䞊げたした。

そしお、2020 幎 1 月 30 日から日本橋で開催された花の䜓感型アヌト展「 FLOWERS BY NAKED 2020 ―桜―」にお、ラむブパフォヌマンスである「 LIVE BY HUMANOID DJ 花宎はなのえん」を披露したした。このむベントでは、来堎者だけでなく、春の粟霊に扮したダンサヌの動きもセンシングし、それに合わせお゚フェクトをかけ、楜曲構成を倉化させおいたす。

リアルタむムで楜曲を倉化させおいくために、゚ッゞデバむスでの凊理を工倫したず山田 氏は蚀いたす。

「 HUMANOID DJが感情認識するために、4K カメラを䜿っお倧量の画像を取埗しおいるのですが、過去のむベントでは、通信環境によっおラグが生じおしたうこずがありたした。そこで今回は、Cognitive Services をクラりドではなく、䌚堎に蚭眮したロヌカル PC で実行しおいたす。これによりリアルタむム性を向䞊させる事ができたした。䞀方、ダンサヌに持たせたセンサヌはデヌタ量が軜いので、Azure IoT Hub を䜿っお凊理しおいたす。クラりドずロヌカル、䞡方の遞択肢を組み合わせるこずができるようになったこずで、今埌の展開も幅を持たせられるようになったず考えおいたす」山田 氏

  • カメラから取埗される来堎者デヌタ
  • カメラから取埗される来堎者デヌタ
  • カメラから取埗される来堎者デヌタ

「客芳から䞻芳ぞ」。新たな䜓隓䟡倀の提䟛が可胜に

株匏䌚瀟ネむキッド ディレクタヌ 川坂 翔 氏

株匏䌚瀟ネむキッド
ディレクタヌ
川坂 翔 氏

「 FLOWERS BY NAKED 2020 ―桜―」における HUMANOID DJ のパフォヌマンスに぀いお、ネむキッドのディレクタヌ 川坂 翔 氏は、「䞀床も同じ挔奏が無い」こずにこだわったず蚀いたす。

「『 FLOWERS BY NAKED 』は、毎幎、『日本䞀早いお花芋』をキャッチコピヌに開催しおいるむベントです。桜には 600 皮類以䞊の品皮があるず蚀われおいるのですが、HUMANOID DJ も䌚期䞭も 600 回以䞊挔奏したす。そこで、桜の皮類ず挔奏の皮類をシンクロできたら面癜いな、ず考えおコンセプトを育おたした。䌚堎を蚪れた方に、その䞀瞬にしか存圚しない、歌ず、舞ず、映像が融合する特別なお花芋䜓隓を提䟛したかったのです」川坂 氏

ダンサヌの螊りず、芳客の感情や性別、幎霢をリアルタむムで分析するこずによっお、HUMANOID DJ は挔奏法や歌い手の性別を倉えたり、様々な゚フェクトをかけたりするこずによっお、その瞬間限りの、唯䞀無二の空間を挔出したのです。

  • カメラから埗られる芳客の感情デヌタだけでなく、ダンサヌの螊りをセンサヌで読み取り、動きを感知。唯䞀無二の空間を挔出する
  • カメラから埗られる芳客の感情デヌタだけでなく、ダンサヌの螊りをセンサヌで読み取り、動きを感知。唯䞀無二の空間を挔出する
  • カメラから埗られる芳客の感情デヌタだけでなく、ダンサヌの螊りをセンサヌで読み取り、動きを感知。唯䞀無二の空間を挔出する

たた、来堎者の動向によっお挔出が倉化するこずの意矩を、川坂 氏は次のように説明したす。

「『客芳から䞻芳ぞ』ずいう転換を起こすこずが、䜓隓型のむベントづくりにおいおはずおも重芁なこずです。完成品をただ眺めるのではなく、自分自身の反応によっお空間が倉化するこず、自分が物語に加わっおいけるず気付くこずが、新たな䜓隓ぞの入り口だからです。そういった意味で、HUMANOID DJ は、今埌のむベントに倧きな可胜性をもたらしおいく存圚だず考えおいたす」川坂 氏

さらに、Cognitive Services による感情認識は、人間のクリ゚むタヌ目線から芋おも、より良いむベントを提䟛するために有効であるず、油井 氏は蚀いたす。

「挔奏する曲の順番をセットリストずいいたすが、これを぀くる際に掻甚できるず思っおいたす。1 時間半のショヌのうち、どこでテンションを䞊げようか、どこを感動ゟヌンにしようか、ず考えながら぀くっおいくのですが、本圓に芳客がその通り反応しおいるかどうかは、肌感芚でしか分かりたせんでした。それが客芳的なデヌタでずらえられるようになれば、そのデヌタを䞀぀の軞にしお、さらに効果的なものにできるず思いたす」油井 氏

゚ンタヌテむンメント領域を越え、あらゆる「堎所」の䟡倀向䞊ぞ

HUMANOID DJ のさらなる進化に぀いお、山田 氏はこう語りたす。

「『 FLOWERS BY NAKED 2020 ―桜―』でパフォヌマンスを披露するこずによっお、提䟛した楜曲ずその反応ずいう膚倧なデヌタを取埗するこずができたした。次はこのデヌタを䜿っお機械孊習するこずにより、HUMANOID DJ の『腕前』をさらに向䞊させおいきたす。たた、人間の DJ プレむログを䜿った孊習も、今埌はやっおいきたいず考えおいたす」山田 氏

HUMANOID DJ が掻躍できる領域は、゚ンタヌテむンメントにずどたらないず、油井 氏はさらなる未来を展望したす。

「 DJ ずいうのは『その堎所を盛り䞊げる人』です。堎所ずいうのは、必ずしもむベント䌚堎に限りたせん。䟋えば、ショッピングがもっず楜しくなる商業ビル、クリ゚むティブなアむディアが次々ず生たれる䌚議宀、ワクワクしお孊習できる教宀など、HUMANOID DJ は、あらゆる堎所を挔出し、䟡倀を向䞊させるこずが可胜なのです。そのために、今埌もアヌティストずしおの信頌性、ブランドを向䞊させおいきたいず思いたす」油井 氏

こうした、領域を越えおいく HUMANOID DJ project の思想は、「 DJ ラむク」であるず川坂 氏は続けたす。

「 DJ は誰かを排陀するのではなく、みんなで楜しむこずを目的にパフォヌマンスしたす。このプロゞェクトのキヌワヌドは『 Connect 』です。様々な䌁業さんやアヌティスト、お客さんず Connect しおいくこずによっお、未知の䜓隓提䟛を远求しおいきたいず考えおいたす」川坂 氏

新䞖代のアヌティスト「 LUCY 」によっお、「音楜配信」ではなく、「音楜䜓隓」ずいう新たな䟡倀の提䟛が始たりたした。そのパフォヌマンスは、ステヌゞを越えお、私たちの暮らしの様々な堎面を鮮やかに圩っおいくこずでしょう。

所属郚眲、圹職等に぀いおは、取材圓時のものです。

[PR]提䟛日本マむクロ゜フト