電脳世界へ身体ごと飛び込む！ ソニーの空間アート「INTO SIGHT」不思議体験

北海道札幌市内の6会場を中心に、1月20日から2月25日の期間で「札幌国際芸術祭 2024」（Sapporo International Art Festival）が開催されます。このイベントに、ソニーグループのデザイン部門であるクリエイティブセンターがイニシアティブ・パートナーとして初参画。“リアルとバーチャルが融け合う世界へ”というテーマにより、制作した実験的インスタレーション「INTO SIGHT」を公開しています。

• 札幌国際芸術祭 2024を舞台に、ソニー クリエイティブセンターの空間アート「INTO SIGHT」が公開されました。デジタル映像によるメタバースに飛び込むような体験に触れられます

今回は札幌の展示会場を訪ねて、デザインテクノロジストとしてインスタレーションの制作に携わったクリエイティブセンターの大木嘉人氏と、センター長の石井大輔氏に、国内初公開を迎えた「INTO SIGHT」が制作された背景を聞きました。

6年半ぶり開催の札幌国際芸術祭にソニーが賛同

「札幌国際芸術祭」（以下、SIAF）は3年に1度、札幌市内のさまざまな場所を会場にして賑やかに開催する芸術祭です。前回のSIAF2017以来、コロナ禍を経て6年半ぶりに迎えたSIAF2024、初めて冬の時期に開かれます。「LAST SNOW」といSIAF2024のテーマ、ディレクターを務める小川秀明氏は次のように語ります。

「雪は自然から送られてくる手紙。大きな循環の象徴。私たちひとり一人の物の見方とマインドセットによって、雪は“終わり”ではなく“始まり”にもなる。雪をテーマに冠するフェスティバルが、来場される皆さまにとって未来に向けて走り出す始まりになってほしいという願いを込めた」（小川氏）

• SIAF2024のディレクターに就任した小川秀明氏

ソニーグループはSIAF2024のテーマに賛同して、未来を一緒につくるパートナーとして今回の芸術祭に参加しています。INTO SIGHTが展示されている「札幌文化芸術交流センター SCARTS」は、JR札幌駅から徒歩12分前後の文化施設です。SIAF2024のビジターセンターとして総合案内施設の役割を担うほか、2階には雪の都市である札幌の自然に関する調査研究を紹介する「研究室」、トークショーやワークショップが実施される「多目的室」があります。

INTO SIGHTは施設1階の展示室で公開しており、入場は無料。施設の休館日（1月24日・1月25日・2月14日）を除いて、毎日10時から19時まで見ることができます。

• INTO SIGHTが公開されている札幌文化芸術交流センター SCARTSは、芸術祭のビジターセンターとしていろいろな役割を担う施設

ロンドンで好評の「INTO SIGHT」、日本初上陸！

現在は石井氏がセンター長を務めるソニーグループ クリエイティブセンターは、1961年にソニーのデザイン室として発足しました。以来、同センターは「ウォークマン」のほか、テレビの「BRAVIA」、ワイヤレスイヤホン、エンタテインメントロボット「aibo」、そして2020年に発表したスマートEV（電気自動車）の「VISION-S」まで、幅広くソニーのプロダクトをデザインしてきました。

現在はエレクトロニクス製品の領域を超えて、セミコンダクター（半導体）、ファイナンス、ゲーム、ミュージック、ピクチャーを含むエンターテインメントなど、ソニーのさまざまな事業におけるユーザーとの接点、体験をデザインする部署として存在感を示しています。

• ソニーグループ クリエイティブセンターの大木嘉人氏（左側）と、センター長を務める石井大輔氏（右側）

INTO SIGHTは、2022年9月にイギリスのロンドンで開催された「ロンドンデザインフェスティバル 2022」にて初出展となった、クリエイティブセンターによるアート作品です。日本では最初にSIAF2024で公開されました。今回のコラボレーションが実現した経緯を石井氏に聞きました。

「ソニーがイタリアのミラノデザインウィーク2019に公開した『Affinity in Autonomy ＜共生するロボティクス＞』という体験型展示を、SIAF2024のディレクターに就任した小川氏にご覧いただいて以来、何度もコラボレーションのお誘いを頂戴しました。今回ようやく、小川氏や芸術祭に関わる方々の期待に応えて、ロンドンで好評をいただいたINTO SIGHTを札幌の皆さまにお見せできることをとてもうれしく思います」（石井氏）

ソニーの高精細Crystal LEDやセンサーの技術を投入

INTO SIGHTのテーマは「リアルとバーチャルが融け合う世界」を描くこと。ソニーの映像やサウンドのエンターテインメントに関連する最先端の技術と、クリエイティブセンターのデザイナーによる感性が融合する見応えあるインスタレーションでした。

札幌文化芸術交流センター SCARTSの特別展示室には、奥行10m×幅3.6m×高さ3.6mの長方形のトンネルが設置されています。一方の端は来場者が足を踏み入れられるよう広く開かれ、もう片方の端には約200インチの巨大なCrystal LEDの壁がそびえ立ちます。

• 長方形のスペースの正面側に200インチの大きなCrystal LEDディスプレイを配置。11種類のビデオアートを表示します

Crystal LEDは、ソニーが独自に開発した高画質LEDディスプレイシステムです。複数のディスプレイモジュールを組み合わせた状態でも、継ぎ目が見えないシームレスな1枚のビデオウォールとして、高精細な映像が表示できる点が大きな特徴です。

最近では、Crystal LEDに表示する映像をバーチャル背景として、その手前で演技する役者と自然に融合させつつ映像を記録するソニーの「バーチャルプロダクション」という撮影技術が国内外のクリエイターから注目を集めています。この点からも、Crystal LEDの名前は世界中に広く知られています。

万華鏡の中に飛び込んだような、今までにない映像体験

Crystal LEDが映し出すイメージは、トンネル左右の壁と床、天井の「鏡」に反射して、増幅されながら広がる映像空間をつくります。例えるなら「バーチャルな万華鏡の中に飛び込むような体験」でした。

なぜこのように不思議な映像効果が生まれるのでしょうか。大木氏に聞きました。

「トンネルの壁を構成する透明なガラスの表面にスリーエム社の『ファサラ ガラスフィルム ダイクロイックシリーズ』を貼ることによって、映像が色を変えながら無限に反復する『鏡』のような効果が生まれました。このフィルムは、2019年にミラノデザインウィークでロボティクスとAIに関連する展示に活用した実績がありました。今回のINTO SIGHTでも期待した効果が得られました」（大木氏）

• 不思議な映像が生まれる秘密を語る大木氏

スリーエムのファサラは、断熱・遮熱効果のある半透明のガラスフィルムとして、通常は建物の内外装に使われる建築材料です。ファサラを貼ったパネルを向かい合わせにすると、映像やパネルの前に立つ人物が「鏡の中の鏡」に反復しながら写り込みます。

クリエイティブセンターのデザイナーが選択したファサラの「ダイクロイック／ミラー」というフィルムに写る映像は、さらに光があたる角度によって色を変えながら無限に反復します。暗い背景に対して、明るく白い模様のある映像をCrystal LEDに投影すると、その反復効果が一層引き立ったそうです。

• スリーエムのガラスフィルムを張り巡らせたトンネルの中で、映像が無限に反復されます

来場者が展示の中に足を踏み入れると、トンネルの外に配置した赤外線センサーがその動きをとらえて、美しいメロディがリアルタイムに連動しながら奏でられます。振動によって音を生み出すアクチュエーターユニットをトンネルの天井裏側に配置して（8基）、ガラスパネルが震えることで音を伝えます。このように、ソニーの映像とセンシング、サウンドの最先端技術が随所に生きています。

どれほど言葉を尽くしても、INTO SIGHTのユニークな体験を皆さんの目に浮かぶような形で伝えることは困難です。筆者が展示会場で撮影したビデオをぜひご覧ください。

クリエイティブセンターのエキスパートたちが勢ぞろい

INTO SIGHTという展示のタイトルは、ひらめきによって新しい価値観を得るという「Insight」と、新しい視覚体験に足を踏み入れる「Into Sight」から生まれたそうです。

テクノロジストである大木氏をはじめ、クリエイティブセンターのインタラクションデザイナー、コミュニケーションデザイナー、コンテンツクリエイター、アートディレクター、CGI（Computer Generated Imagery）のスペシャリストやサウンドデザイナーなど、さまざまな専門知識を持つエキスパートが集まり、およそ半年がかりで展示が制作されました。

「2022年にロンドンデザインフェスティバルで声をかけていただいてから、ソニー デザインセンター ヨーロッパでアイデアを出し、展示の内容を議論しながら決めました。当時は私もロンドンのチームにいました。ソニーの独自技術と色の変わるフィルムを組み合わせて、今までにないバーチャルとリアルの融合体験が見せられるのではないかという意見が挙がり、方向が定まりました。その後はオフィスでINTO SIGHTの縮小模型をつくり、Crystal LEDの代わりに発光するディスプレイを置いてシミュレーションを重ねながら、映像とサウンドの独自コンテンツを形にしてきました」（大木氏）

• シミュレーションの風景

• ロンドンデザインフェスティバルの展示も、大人から子どもまで、そしてデザインを学ぶ学生やクリエイターにも幅広く好評を博したそうです

没入体験を高めるサウンドに凝らした「ある工夫」

INTO SIGHTの没入型体験を最大化するコンテンツについても、クリエイティブセンターのチームは試行錯誤を繰り返しました。

「いろいろなタイプの映像を試作しましたが、最終的には抽象度の高い映像のほうが没入感は向上するという結論になりました。今回のINTO SIGHTでは、新作の3本を含む全11本の動画作品を上映しています。例えば岩の写真を元に制作した動画は、岩のテクスチャーをリアルにとらえているのですが、あくまで抽象的に見えるような表現を狙っています」（大木氏）

映像と同期するサウンドのリアリティも、没入体験を高めてくれます。センシング技術の使い方とともに、大木氏に聞きました。

「展示スペース内を動く人の姿を1台の近赤外線カメラでとらえて、全体の動きに合わせてリアルタイムに音楽を生成しています。人の動きに連動してメロディを鳴らすために、トンネルの天井に合計8基のアクチュエーターユニットを配置しています。加えてトンネルの外側にはアンビエントなBGMを再生し続ける4基のスピーカーがあります。人の動きに合わせて鳴るメロディは、外側のBGMとキーに合わせた音楽が生成されます。音楽を人が動く速さに合わせたり、毎回違うメロディがランダムに鳴ったりするように仕掛けています」（大木氏）

人の動きを検知するセンサーの振る舞いにも工夫を凝らしています。

「展示の中にいる人物を1人ずつ検出しているわけではなく、1台のカメラで“動いているもの”の全体を大まかに検出して、メロディを再生しています。ロンドンでの展示の経験から、センサーで人を1人ずつ個別に識別してしまうと、それぞれの動きに連動するサウンドが入り乱れて聞こえづらくなることがわかりました。そのため、あえてシンプルなアルゴリズムにしています」（大木氏）

人に寄り添う体験をテクノロジーがデザインする

「人がテクノロジーに寄り添うのではなく、テクノロジーが人に寄り添うような考え方に基づく体験を形にすることもまた、INTO SIGHTの制作に向けて大切にしたテーマだった」と石井氏が語ります。そのコンセプトは、現在のソニーによるデバイス、およびサービスのユーザーインタフェースのデザインなどにも結び付いているのでしょうか。

「ロボットペットの“aibo”は人の動きを感知しながら“鳴き声”のサウンドを生成しています。最終的にはソニー・ホンダモビリティのAFEELAのようなモビリティがドライバーや同乗者の状況を把握して、そのときの場面や気分に合わせたコンテンツを車内に提供するような世界観も見せたいと考えています」（石井氏）

• エンタテインメントロボットの“aibo”にも、センサーで人の動きを検知しながら連動する音（＝鳴き声）を自動生成する機能があります。ソニーによる「人に寄り添うテクノロジー」をユーザーが体験できる形にまで高めた好例です

2024年初頭にラスベガスで開催されたエレクトロニクスショーのCES 2024では、ソニーが没入型空間コンテンツ制作システムとして開発を進めるXRヘッドマウントディスプレイを発表しました。その効果もあってか、CESをきっかけとしていま、XR／VRデバイスによる没入体験やメタバースに対する市場の関心が再び熱を帯びているようです。

これからも質の高い没入型空間コンテンツと、これを再現するハードウェアに注目しながら、かたやソニーのINTO SIGHTのように身体ごと飛び込んで体験できる没入型空間コンテンツは、私たちに「リアルとバーチャルの境界線」を見つめ直す新たな視点を与えてくれます。そのうえで、バーチャルの世界の可能性について深く思いを巡らせることには、大きな意味があると実感しました。

これからSIAF2024に足を運ばれる人はぜひ、ソニーのクリエイティブセンターによる渾身の作品、INTO SIGHTを体験してください。そして、ソニーにはこれから全国各地でINTO SIGHTが体験できる機会をぜひ実現してほしいと思います。