ピアノを弾いて絵を描くカシオの「Music Tapestry」に大はしゃぎ

カシオ計算機が開発している「Music Tapestry（ミュージックタペストリー）」は、電子ピアノの演奏をデジタルアートにして出力するシステム。今回、渋谷ヒカリエの展示で体験してみたところ、楽器や音楽がより身近に感じられてとても楽しい時間を過ごしました。ピアノを弾ける人はもちろん、弾けなくても楽しめます。

取材したのは、渋谷ヒカリエ8/ CUBE1,2,3で開催されたイベント。Music Tapestryは、電子ピアノの演奏（出した音）に合わせてリアルタイムで絵を描く技術です。電子ピアノの演奏をMIDI音源としてパソコンに取り込み、曲調や音符に合わせてMusic Tapestryが絵を描きます。

9月14日～9月19日に渋谷ヒカリエ8/ CUBE1,2,3で開催された「Music Tapestry Exhibition」に行ってきました

調性や強弱など音楽的な要素をMusic Tapestryが判断して、最終的に1曲の演奏で1枚の静止画を完成させます。絵はリアルタイムでプロジェクター出力され、目の前に壁画が描かれていくようなイメージです。できあがった絵はQRコードで印刷。スマホのカメラ機能でQRコードを読み取ると、自分の演奏で描いた絵をダウンロードしたり、SNSへ投稿したりすることもできます。

音の高さは色、音階は花の種類、音量やテンポは画面要素の大きさ、調性（ハ長調やト短調など）で背景の色が変わるというように、音楽理論に基づいて表現する点がポイントです。

電子ピアノの演奏に合わせてリアルタイムの絵を描き、正面のプロジェクターに映し出します

Music Tapestryで描いた作品の一部。花などをモチーフにしたすてきな作品です。部屋に飾りたくなりますね

たとえば同じ和音の連打でも、強く弾いたとき、弱く弾いたとき、速いテンポで弾いたとき、ゆっくりのテンポで弾いたときで、出てくるモチーフの大きさが変わります。さらに、曲ではなく適当に打鍵しただけでもキレイな絵を描いてくれるため、ピアノが弾けなくても自分の出した音の表現を視覚的に楽しめます。

同じ曲でも弾く人によって絵の表現が変わるところも面白いポイント。また、同じ人が同じ曲を弾いても、その日の気分や調子によって少しずつ表現が変わります。つまり「今、ここ、この瞬間の音楽」を、楽器の得意不得意に関係なく、視覚的に楽しめるのがMusic Tapestryの魅力です。

今回のイベントでは、ブーケ、サクラ、ローズ、オータムリーブスといったMusic Tapestryの基本的なモチーフのほか、ビジュアルアーティストの藤川佑介さんが手がけたバージョンのアートも楽しめました。藤川佑介さんが監修したのは、カンディンスキー風の「Abstract」、壁の落書き風の「Graffiti」、そして花を使った「Flower」です。

ビジュアルアーティストの藤川佑介さん

藤川さん監修の「Abstract」

ストリートの落書きアートのような雰囲気の「Graffiti」

女性に人気の「Flower」

とにかく楽しい！仕事を忘れて大はしゃぎ、担当者に優しく微笑まれる

さて、筆者は少しピアノを習っていたことがあるので、簡単な曲なら弾けます。というわけでMusic Tapestryを体験してみました。

足もとのペダルで描きたいモチーフを選び、演奏を始めます。単音を数音鳴らしただけでも絵を描きますが、音数が多いほうが表現は豊かになります。できあがった絵には五線譜も描かれ、曲の長さなどが分かります。背景の色は長調の音楽（明るい雰囲気）なら明るい色に。短くても15秒間以上は鍵盤を叩きたいところです。音数があってある程度弾けると、描かれる絵に蝶が出ることがあります（ゲームでいうところの隠れキャラ的なものですね）。

真ん中のペダルでモチーフを選択

手元のタブレットでも確認できます

演奏によって描かれる絵は、プロジェクターで投映されます。周りの人と一緒に演奏と絵を描く様子を楽しめます

体験した来場者には、できあがった絵のQRコードを印刷してプレゼント

音の大きさで花の大きさが変わります

短い曲だとモチーフの数が少なく、五線譜も短くなります

電子ピアノを弾いていくと、出した音に合わせて画面の中でモチーフが広がっていきます。自分の弾き方に合わせてモチーフの動きや大きさが変化するので、魔法使いにでもなったような気分。

普段なら気になるミスタッチや、リズムの間違いなんかは気にせず、とにかく弾きたくて仕方がない。こういう気持ちは久しぶりです。

【動画】バッハのインヴェンション第1番 BWV 772を弾いてみました。モチーフは藤川さんの「Graffiti」です
（音声が流れます。ご注意ください）

できあがった絵がこちら。音がたくさんあるのでモチーフもたくさん。本当に、壁に描かれたスプレーアートのよう

【動画】今度はサティのジムノペディ第一番。ゆっくりしたテンポに合わせて植物のモチーフが浮かび上がり、癒やされます
（音声が流れます。ご注意ください）

ジムノペディの神秘的な雰囲気を表現したような、不思議な色合いの絵ができあがりました

大人になってからはピアノを練習する時間が取れず、いろいろな曲が弾けなくなってきて「ああ、指がまわってない……」「ああ、このテンポでもう弾けなくなっちゃったんだ……」と落ち込むことが増えた筆者ですが、今回はちょっと違います。どんな絵ができるんだろう？どんな風にモチーフが動くんだろう？とワクワクして、「もっと弾きたい！」という気持ちが膨らみます。ピアノってこんなに楽しいものだったんだ！と再認識した時間でした。

同じ和音の強弱を変えて弾いたり、同じ曲を違う「調」で弾いたり、テンポを変えて弾いたり、いろいろ試しながらモチーフの出方や絵の仕上がりを確認するのも楽しいものです。何曲は弾いてトライしたところ、1枚の絵に蝶のモチーフが現れて、思わず「やった！」と両腕を上げて喜んでしまいました。

それを見ていたカシオの担当者、優しく微笑みながら「体験イベントに来るお子さんたちも、同じような反応をされるんですよ」と。一緒に取材していたマイナビニュース・デジタルの林編集長はその横で苦笑い（林：楽しんでいただけて何よりです！）。

蝶のモチーフ！実際に出るとうれしいですよ

「音楽は時間芸術。その場で消えていく音楽を可視化したい」という開発者の想い

これだけ楽しい「Music Tapestry」ですが、現在はまだ開発中。一般の人が購入したり、ピアノ教室で導入したりはできません。ただし開発にフィードバックするため、昭和記念公園（東京都立川市）や各種のアートイベントなどで体験イベントを行っています。参加者からは「楽しかった！」と高評価とのこと。音楽教育者からの問い合わせもあるそうです。

演奏に合わせて絵が出てくるのは、弾いている人だけでなく周りで見ている人も楽しいようで、コミュニケーションのきっかけにもなるといいます。老人ホームでイベントを行ったときは、周りの人から「（あなたの演奏で描いた）バラがキレイね！」と褒められたことで、普段は恥ずかしがってピアノを弾くことがなかった人も、絵を描くのが楽しくなって積極的にピアノを触っていたそうです。

「リズムが規則正しいか、きっちり弾けているかなど、ざっくりと評価しています。音楽的にうまく弾けていたら蝶を表示するようにしました。とはいえ、カラオケ採点のように間違ったからといってマイナス評価はせず、間違った音だったとしても表現の一部として描いていきます」（カシオ計算機奥田広子さん）

短い曲だったり、適当にポンポン弾いたりしただけでも雰囲気のある絵に仕上がるのは、こうした評価や細かい調整があるからなんですね。

音楽性に関する評価は、絵の構成だけでなく背景色にも関わってきます。ハ長調（Cメジャー）の場合、赤を基調とした背景色になります。ひと口に赤といっても、明るい曲はビビッドな赤になりますが、同じハ長調でもちょっと寂しい雰囲気やしんみりした曲調なら暗めの赤になるなど、微妙に色味が変わります。

参考展示されていた桜モチーフ。曲中で短調から長調に転調しているので、暗い雰囲気の部分（紫や青）と、明るい雰囲気を感じさせる部分（赤）があります

「ストリートピアノは上手な人じゃないと弾けない」からの解放

近年は駅やビルなどいろいろな場所で、自由に弾ける「ストリートピアノ」が置かれるようになってきました。誰でも気軽に弾いていいのですが、けっこう音が響きますし、気後れする人もいると思います。筆者もそのひとり。「自分のレベルでピアノを弾いたら周りの迷惑では……」と考えてしまって弾いてみたいのになかなか勇気が出ません。

でもMusic Tapestryなら不思議と平気。楽譜的には間違った音でも、描かれた絵はすてきに仕上がりますし、何より周りの人が演奏そのものではなくプロジェクターが映し出す絵にも注目するため、なんだかリラックスして楽しんで弾けます。Music Tapestryは、「楽器を弾く」「演奏を聴く」だけでなく、絵を映し出すことで多角的に音楽の楽しさを広げるツールです。

筆者の友人に西洋古楽器奏者がいるのですが「（古楽器の演奏が盛んだった）17世紀ごろと現代を比べると、音楽との親密さが全然違う」と話していたことがあります。家の中で家族と合奏したり、夕食後に友人や近所の人と気軽に演奏をしたり――。そういう音楽の楽しみ方は今の時代だとなかなか難しいですが、Music Tapestryを使うことで演奏を楽しむことへのハードルがぐっと下がり、音楽ともっと仲良くなれる気がしました。あ～楽しかったな……。

今後もカシオはMusic Tapestryを使ったイベントを企画しているそうです。用意された映像を楽しむのではなく、自分の演奏で変化するアートを作り出すという体験は、とても新鮮です。もしMusic Tapestryを見かけたら、ピアノが弾けても弾けなくてもぜひ体験してみてください。