カシオ、音楽に合わせて自動で絵を描く「Music Tapestry」

カシオといえば時計のG-SHOCKや電卓というイメージがありますが、電子ピアノなどの楽器でも優れた製品をリリースしています（特に、ドイツのピアノメーカー、C.ベヒシュタインと共同開発した電子ピアノ「CELVIANO Grand Hybrid」は、高い評価を受けています）。

そんなカシオ、「誰もがもっと音楽を楽しめるように」と開発しているのが、「Music Tapestry（ミュージックタペストリー）」という新しい技術です。Music Tapestryはどんな技術でどこがすごいのか、カシオの担当者に話を聞いてきました。

• 電子ピアノに合わせてリアルタイムに「絵」を描いていくMusic Tapestry

音楽に合わせてリアルタイムにアートを作り出す

Music Tapestryを簡単にいうと「演奏（音楽）に合わせてリアルタイムに絵を描く」技術です。これまでも、音調に合わせて見た目が変化するイコライザーや、「音の大きさで変わる絵が飛び出す」といったシンプルなものはありました。Music Tapestryのすごいところは、演奏した曲の「音楽性」を理解して絵を作れること。

例えば、暗い曲調ならシックな印象の絵に、楽しい曲調なら明るい印象の絵を自動的に生み出します。さらに、カシオが長年培ってきた音楽データの解析技術を使って、「リアルタイム演奏評価」ができるのも魅力です。

技術的な部分を簡単にいうと、Music TapestryはMIDIデータを利用します。演奏をMIDI出力できる楽器、機材なら、Music Tapestryで使えます。電子ピアノ、キーボード、エレキギター、いまならMIDIバイオリン、パソコンでのDTMなど、使える楽器の幅はかなり多そうですね。デモンストレーションでは、電子ピアノをパソコンに接続して、Music Tapestryはパソコンのアプリとして動作していました。

デモンストレーションを見たところ、Music Tapestryは大きく2つのフェイズで構成されていました。ひとつは、音楽演奏中にリアルタイムで絵を生成するフェイズ。もうひとつは演奏後に、一曲をひとつの絵として表現するフェイズです。

• 演奏中、リアルタイムに曲を解析。曲の繊細さや表現力、さらには悲しい・楽しいといった感情表現まで解析できるのがすごいですね

音楽演奏中のフェイズでは、音楽に合わせて葉っぱや花といった美しいオブジェクトが画面奥から湧き上がるように生成されます。この花や葉っぱの種類、色や大きさも、演奏している音楽をリアルタイム解析して表示されます。

開発段階のMusic Tapestryには、12種類の花の形と8種類の葉っぱの形があり、花の種類は楽曲の音階をもとに決定。花の大きさは音の大きさに演奏のアクセント、テンポなど複合的な要素から決まります。

一方、葉っぱの種類は楽曲のコードタイプから選ばれます。言葉にすると簡単そうですが、葉っぱの表示だけでも「いま弾いている楽曲のメロディ部分を解析」「メロディから最適なコードを見つける」「コードに合った葉っぱを選ぶ」と、複雑で高度な判断をリアルタイムでしているのです。

• 画面に表示される花や葉っぱの種類、それぞれの大きさや色、すべてに意味があります。今後は、オブジェクトの種類や絵のパターンを増やすことも考えているそうです

演奏を10秒ほど続けていると徐々に背景に色がついてくるのですが、この背景色はおもに楽曲の「調」から判断。例えば、Cメジャー（ハ長調）の明るい曲なら赤を基調とした色、悲しげな印象のAマイナー（イ短調）なら紫を基調とした色になります。さらに楽曲要素を判断して「明るい赤」「暗い紫」など色が微妙に変わるのも面白いところ。もちろん曲中で変調すれば、背景の色も楽曲に合わせて変化します。

Music Tapestryにはリアルタイム演奏評価機能もあるのですが、評価スコアが一定以上になると、画面上にリボンが飛び出てくるといったギミックも。演奏者以外も画面を見ているだけで飽きません。

• 一定以上のスコアになると、画面上にリボンが乱れ飛びます。上手く弾けばそれだけ画面が華やかになるのがうれしいですね

演奏後に曲を一枚の「絵」として表現

Music Tapestryのもうひとつの楽しみが、演奏後に作られる一枚の「絵」です。これは演奏した楽曲全体を判断して、自動的に描かれます。

演奏後の絵で注目したいのが、五線譜のような線状のオブジェクト。これは曲の流れを表しており、演奏時間にあわせて長さが変化。長い演奏曲だと、画面全体にぐるぐると巻くように表現されます。

また、五線オブジェクトは曲のリズムも表しており、クラシックのような一定のリズムの曲なら整った線になり、ジャズのようにスイング感のある曲なら波のように動きのある線になります。慣れてくると絵を見るだけで「楽しげな曲を弾いたんだな」「この曲は複雑そう」と、絵から曲が判断できるようになるのも面白いですね。

整った五線の美しい絵は、評価もスコア100と非常に高得点。楽曲途中で変調しているため、背景の緑以外にオレンジや青などの色が多いのも華やかで魅力的（写真上）。23秒と短い時間しか電子ピアノを弾いていないので、五線は短め。スコアも65点と伸びていません。とはいえ、絵としては味のある良いデザインですね（写真下）|

• 描かれた絵を保存、印刷する機能もあります。絵の可能性は無限大。同じ曲を同じ人が演奏しても、曲の微妙なテンポや音の強弱が変わるので同じ絵にはなりません

楽器をもっと気軽に、楽しく

Music Tapestryは、どういったシチュエーションでの利用を想定しているのでしょうか？ 例えば、ピアノを習っている人が楽しく練習するギミックが考えられます。自分の演奏とリンクして、見た目も華やかなMusic Tapestryがあれば、練習に身が入りそうです。

曲の最後に演奏の評価点数が出るので「次はもっと高得点を出そう！」と、ゲーム感覚で練習を楽しめるようになるかもしれません。たとえ上手でなくても、「こんな素敵な絵ができたねー」と、演奏した子どもを褒められるのもすばらしいところではないでしょうか。

• 「画面」として、印刷物として出力でき、いろいろな使い方が考えられます

Music Tapestryに慣れてきたら、「黄色い背景でシダっぽい葉っぱがたくさん飛んでいる絵」など、作りたい絵を想定して曲を弾きあう遊びなど、楽しみ方はいろいろありそうです。

カシオはさまざまな場所でMusic Tapestryをデモンストレーションしたそうですが、シニアのレクリエーションツールとしても評判が良いそうです。普段はピアノを弾かない人も、絵を見るために楽しく曲を弾いていたそうです。「あなたの出した花キレイね！」など、曲以外の感想でも話が盛り上がって、音楽もコミュニケーションも一層楽しくなりますね。現在は開発中のMusic Tapestry、実際どういう形で世に出てくるのか楽しみです。