脳科学とAIで音楽トレンドを可視化してヒットソングを予測

NTTデータとNTTデータ経営研究所、阪神コンテンツリンクは9月3日、NTTデータの人間の脳活動を推定する技術「NeuroAI」と、阪神コンテンツリンクのBillboard JAPANの総合ソングチャートHOT 100のデータを組み合わせた共同研究を2019年9月から実施したと明らかにした。

2016年12月から2020年5月までにチャートインした2185曲を対象に、楽曲を聴いた際の推定脳活動・音色の特徴、歌詞、コード進行や過去のチャート情報などの楽曲特徴を利用して研究を行った。

これにより、どのような特徴を備えた楽曲がトレンドとなっているのか、そして今後どうなるのかの定量的な評価が可能となり、思いもよらないヒットソングが突然現れる今日のマーケットへの適応が期待されるという。 3社は

共同研究では、(1)楽曲を聴いている際の脳活動の推定による特徴の抽出と可視化、(2)楽曲特徴(脳情報・歌詞・コード進行)とチャートデータによる楽曲トレンドの定量把握とトレンド予測を目的とし、(1)楽曲データ:2185曲(2016年12月～2020年5月の8種類のチャートで100位以内にランクインした楽曲)、(2)Billboard Japan Hot 100の週次チャートデータ:2047曲(2016年12月5日週～2020年7月20日週まで)を対象楽曲・チャートデータとした。

方法は、NeuroAIで楽曲の音声から1秒ごとの脳活動を予測したほか、音声の周波数を解析し、楽曲の特徴を抽出。また、歌詞情報、コード進行情報、アーティストの過去チャート情報を定量化し、独自アルゴリズムを構築した。

結果として(1)楽曲の脳情報化による新たな特徴の獲得(脳情報化された楽曲特徴の類似性が評価可能に)、(2)ヒットソングの特徴の可視化(「ヒットの要因」を脳情報や歌詞・コード進行などの楽曲特徴から把握)、(3)未来の音楽トレンド予測(どのような楽曲がトレンドとなるのか4か月程度先まで予測)の技術開発に成功した。

楽曲の脳情報化による新たな特徴の獲得に関しては、映像・音声から人間の脳活動を推定するNeuroAIを音楽に適用することで、音楽ジャンルの情報や音声信号処理によらない新たな「楽曲特徴」を定量化した。また、脳情報に含まれる、人間が感じる音楽への潜在的かつ言語化不可能な反応を利用することで、楽曲トレンドを反映したCMタイアップソングの提案や「今までは聴かなかったようなジャンルから好きになれる楽曲との出会いを提供する」など、新たなアプローチによるプレイリストの作成提案などが期待されるという。

“NeuroAI Selected Playlist”特定の曲と類似した脳情報表現が推定された楽曲をリスト化

ヒットソングの特徴の可視化については、週単位の楽曲トレンドを定量的に把握するため、楽曲特徴(脳情報・歌詞特徴・コード進行特徴)およびアーティストの前週のチャートデータから、チャートポイントを説明する「チャートモデル」を構築。過去のチャート情報を加味しているため、アーティスト知名度などの影響をある程度差し引いた上で、どのような楽曲特徴が支持されているのかを把握できることが期待されるとしている。

Billboard JAPAN HOT 100の2020年上半期と楽曲特徴のみからトレンドを評価したランキング

未来の音楽トレンド予測では、週単位でどのような楽曲特徴(前週のチャートデータ含む)を持つ曲が上位にランクインするかを定量的に表したモデルの時系列変化を「トレンドの変化」と捉え、過去の変化パターンから未来にどんな楽曲特徴が支持されるのかを予測することを試みた。

実際のチャートデータだけではなく、「急に聴かれるようになった」楽曲について指標化したデータ(急上昇トレンド指標)を対象に新たなチャートモデルを作成し、時系列変化を予測。結果的に全データの90%を利用(2016年12月5日～2020年3月16日)し、その変化パターンを学習させたが、2020年3月23日以降の未学習に仮設定したデータにおいても予測精度が維持できていたという。今回、対象としたデータの中では最新の同7月20日週のチャートデータに関しても、YOASOBI、ヨルシカ、Rin音、Novelbrightなどによる楽曲の順位上昇を予測することができたという。

予測されたチャートモデルの精度と予測された楽曲

今後、レコード会社、音楽出版社、マネジメント、広告代理店などに向け、アーティストの発掘・育成やマーケティングの支援、そしてストリーミング事業社などに向けたチャートデータや脳情報を基にしたプレイリストの制作支援を行うなど、新たなサービスのトライアル提供を2020年9月から開始する。

ユースケースとしては、トレンド楽曲特徴を踏まえたリリース曲の選定サポート、CMタイアップソングの選定サポート、リリース時に発信するプラットフォームの選定サポート、Sound Cloud、YouTube、Bandcampなどにおける新人発掘サポート、海外展開における海外市場のモデル化とその利用などを想定している。

NTTデータおよびNTTデータ経営研究所では音楽のほか、今回の手法を動画広告・テレビ/ネット番組など多様なメディアに適用し、脳情報化とモデル作成によるコンテンツ最適化サービスを提供していく考えだ。