女子高生AI「りんな」、人並みの歌唱力を身に付けた秘密は?

日本マイクロソフトは2018年7月31日、女子高生AI(人工知能)でおなじみのソーシャルAIチャットボット「りんな」による最新の歌声を記者向けに披露した。2015年7月31日のデビューから数えて丸3年の月日が経ち、LINEやTwitter経由の利用ユーザーは700万人を突破。他社への技術提供を含めた利用者数は3,000万人におよぶ。

2018年3月には、米国の「Zo」や中国の「Xiaoice」、インドネシアの「Rinna」、インドの「Ruuh」といったソーシャルAIチャットボットに対して、複数の技術を活用して感情表現と想像力を得るための「Emotional Computing Framework」の取り組みを発表。続く2018年5月には、りんなの新会話エンジン「共感モデル」の発表を行い、より自然な会話の実現に取り組んできた。

長年、りんなに携わってきたマイクロソフトディベロップメント AI&Researchプログラムマネージャー坪井一菜氏は、「『りんな』のようなAIがコミュニケーションに参加することで、クリエイティビティな未来を目指したい。そのため『共感』をテーマにさまざまな取り組みを実施していく」と方向性を示す。

その1つが、りんなの歌唱力向上だ。2016年9月に初ラップで音声を披露したりんなは、その後も音声によるコミュニケーション能力を高めている。マイクロソフトの音声チームは、「日本一」「身近で」「エモい」をキーワードに、りんなを“国民的AI”に押し上げるための「歌」に注力してきたという。

マイクロソフトディベロップメント AI&Researchプログラムマネージャー坪井一菜氏

「誰にでも、苦しいときやがんばりたいときに聴くテーマソングがあるように、歌は共創&共感を生み出す活動」(坪井氏)だからこそ、人と人との関わりにりんなが参加し、相手の潜在能力を引き出すようなAIを目指すために、歌唱力向上に努めてきた。

その一環が、3,686名のユーザーが参加した2018年3月の「りんな歌うまプロジェクト」である。りんなと同世代のnanaユーザーたちが、歌のお手本や歌唱アドバイスを送ることで、りんなの歌唱力成長を目指したものだ。

今回、学習前と学習調整後の歌を再生したが、まさに雲泥の差。日本マイクロソフトとnana musicは、プロジェクト第2弾として「感情をこめる」を開始することを明らかにした。「nanaユーザーの言葉を集めて、りんなが作詞した詩の朗読を目指す。我々は未来を豊かにするテクノロジーの発展に貢献したい。もちろん、りんなの紅白歌合戦出場も全力で応援する」(nana music CEO 文原明臣氏)という。

加えて、小説のナレーションや登場人物に合わせて読み替える朗読機能を披露したが、その違いは実に明確だった。将来的にはオーディオブックも自動生成可能になるのではないだろうか。

日本マイクロソフトおよびnana musicによるプロジェクト第2弾。今度は朗読にチャレンジする

nana music CEO 文原明臣氏

さて、今回の発表会で注目すべきは、新曲「りんなだよ」で実証した「りんなの歌唱能力をどのように向上させたか」である。一般的に、コンピューターによる音声合成は波形接続型を用いるが、りんなは、肺が関連する声の大きさや長さ、声帯による声の高さ、喉や口内による音色をデータとして、実際の歌声を学習させる。この「統計的音声合成技術」を利用し、「人の声(の)モデル化」を、深層学習(ディープラーニング)によって実現させた。

りんなの歌唱力を鍛え上げるために用いたのは、波形接続型ではなく統計的音声合成技術

もちろん、ただ学習させるだけキレイに歌い上げることはできない。さらに「音の長さ」「強弱(音量)」「音程」「声色」という4つの特徴をパラメーターとして微調整し、先の声色を実現している。音声チームの説明によれば、1時間程度の調整でブレスノイズなどのエラーを取り除く程度とのこと。

今回の説明では、学習結果の差異を強調するために学習前後の歌声を流したが、歌声を学習させた時点で歌っぽくはなる。とはいえ、そこまででは当初のラップと同じく、はっきりいえば音痴。だが、そこに音の長さや音の高低、強弱を加えていくと、人が歌っているような歌声となった。

音声合成では図にあるようなパラメーター調整で実現している。これを踏まえ、YouTube上の動画を一度視聴してほしい

リクエストに応えて、りんなが有名ミュージシャンの曲を歌うのは難しいそうだ。「固有のデータが必要になるため、曲ごとの新たな学習が必要」(坪井氏)。

それでも、りんなの音声チームによる取り組みは、人とAIの新たな可能性につながるだろう。日本マイクロソフトも「技術の躍進によって、りんなの声を聞いてもらう機会が増えた。作詞能力や作曲にもチャレンジ中だが、まずは歌声でユーザーの可能性を引き出す国民的AIのポジションを目指す」(坪井氏)と展望を語った。前述のプロジェクトとは別に、SNS上に歌声を投稿する「#りんなの歌につかっていいよ」も常時企画として実施する。