テクノロジーは価値創造の基盤、ソニーの未来技術が一堂に

ソニーグループは、Sony Technology Dayを開催し、同社の最新技術などについて説明した。Sony Technology Dayは、報道関係者を対象に、ソニーグループが持つ多様な事業をつないだり、ソニーの進化を支えるテクノロジーについて説明するもので、「感動を生む、テクノロジー」をテーマに、「フィジカルとバーチャルの融合」、「リアリティの追求」、「人・社会・地球への貢献」の3つのカテゴリーから、初公開を含む8つの最新技術を紹介した。

ソニーグループの勝本徹副社長兼CTOは、「ソニーのパーパスは、『クリエイティビティとテクノロジーの力で、世界を感動で満たす』であり、ソニーグループのミッションは『人と技術を通じて事業の進化をリードし、支える』である」とし、どちらにもテクノロジーと技術という言葉が重要な意味を持っていることを示しながら、「テクノロジーは人材とともに、ソニーグループの価値創造を支える基盤である。Sony Technology Dayのような積極的な技術情報の発信は、外部パートナーとの協業や新たなタレントの獲得にもつながる。グループ全体が『人とテクノロジーでつながること』をリードし、進化した製品、コンテンツ、サービスを通じて、世界に様々な感動を提供したい」と述べた。

• ソニーグループの勝本徹副社長兼CTO

また、ソニーでは、SONY TECHNOLOGY EXCHANGE FAIR（STEF=ステフ）と呼ぶグループ内の技術交換会を、創業者である井深大氏によって、1973年から開催。毎年100以上の技術テーマと、1万人以上の社員が世界中から参加していることに言及。今年は、リアルとオンラインを組み合わせたハイブリッド開催を行ったことを報告した。「エンジニア同士が技術情報を交換しあうだけでなく、職種を問わず多様な事業に関わる社員がテクノロジーに触れることで、新たな価値創造につながることを目指している。今回、発表するもののほとんどが、過去のSTFEに出展し、社内で磨かれて、公開できるようになったものである。これらのすべての技術が、感動を生むテクノロジーとして、パーパスの実現に向けて不可欠なものである」とした。

• 創業者の井深大氏（中央）

ソニーの「フィジカルとバーチャルの融合」とは？

「フィジカルとバーチャルの融合」では、クリエイターのクリエイティビティを刺激する「Crystal LEDとシネマカメラで実現するバーチャルプロダクション」、すべてのパフォーマンスを可視化する「EPTSとData Visualization Technology」の2つの技術を説明した。

ひとつめのバーチャルプロダクションでは、実写映像とCGをリアルタイムで合成する新しい映像制作技術であり、ソニーの「In-Camera VFX」により、カメラの動きと連動させた3DCG映像を、スタジオに設置したCrystal LEDディスプレイに背景として映し出すことができる。映画やドラマの撮影では、Crystal LEDディスプレイの前で演技をする演者を撮影することで、従来のグリーンバックでの撮影に必要なCG合成の手間と、天候や時間、場所などの制約からクリエイターを解放することができる。映画監督や俳優などからは、グリーンバックで映像を想像しながら撮影するよりも、映像をバックに撮影できるためイメージがつかみやすいといった声があがっている。

• バーチャルプロダクションのイメージ

「Crystal LEDは、ソニー独自のLED制御技術と、薄型テレビのブラビアで培った信号処理技術を融合したLEDディスプレイであり、1800cdの高輝度と、広色域と高コントラストにより、圧倒的なリアリティの高精細な映像を映し出すことができる」（ソニー ホームエンタテインメント&サウンドプロダクツ事業本部の手代木仁氏）という。

また、2021年11月には、新開発の8.6Kイメージセンサーを搭載したデジタルシネマカメラ「VENICE 2」を発表。「高い解像力と撮像性能の進化により、幅広い輝度条件下でも豊かな階調表現ができ、よりリアリティのある映像制作を実現。S-Gamut3の広色域に対応している」（ソニー イメージングプロダクツ＆ソリューションズ事業本部の大庭裕二氏）とする。

• デジタルシネマカメラ「VENICE 2」

この2つの製品が組み合わさって、これまでにないバーチャルプロダクションが実現することになる。

「LEDディスプレイと高性能カメラのどちらもソニーが自ら開発していることで、機器連携で要求される高い親和性を実現することができる。また、ソニー・ピクチャーズエンタテインメントやソニーPCLなどのグループ内にエンタテインメント事業を持っているため、制作現場の要求を、ダイレクトに製品開発に取り入れることができる点もソニーの強みである」と述べた。

ソニーグループ内外のクリエイターや実際の撮影に携わるエンジニアとの連携を深め、高品位なコンテンツを効率的に制作できるバーチャルプロダクションのソリューション開発を推進していくという。

なお、バーチャルプロダクションのスタジオは、米カリフォルニアのソニー・ピクチャーズエンタテインメントと、東京の東宝スタジオに設置しているが、2021年度中には東京・清澄白河に新たなスタジオを開設する予定だという。

2つめの「EPTS（エレクトロニックパフォーマンストラッキングシステム)とData Visualization Technology」は、専用のトラッキングカメラで撮影したスポーツの試合映像から、選手やボールなどの動きを捉え、ミリ単位の正確性で迅速に骨格情報やプレイデータを収集することができる技術だ。スポーツ界や放送業界、関連団体を、可視化のテクノロジーで支えていると自信をみせる。

• 「エレクトロニックパフォーマンストラッキングシステム」のイメージ

「選手などの動きを捉えるトラッキング処理、捉えた映像をAIで解析し、データ化する処理、データを可視化して表現する処理の3つの技術が鍵になる。ホークアイが得意とする高度な画像処理技術、AI認識技術、3次元トラッキング技術と、ソニーが得意とする放送用途の品質によって映像を扱う技術やイメージセンサー関連技術の融合により、選手の姿勢まで含めたすべてのプレイがデータ化され、いままでの技術では捉えることができなかったパフォーマンスを可視化できる。この技術は、テニスのライン判定や、サッカーのゴール判定にも利用され、ときにはスポーツに新たなルールも生み出してきた」（ソニー イメージングプロダクツ＆ソリューションズ事業本部の服部博憲氏）とする。

• 選手のパフォーマンスの分析や、ルール判定にも利用できる

EPTSを実現しているホークアイ イノベーションズ（Hawk-Eye Innovations）は、ソニーが2011年に買収した企業で、サッカーなどの各種スポーツで採用。データに基づくコーチング、戦術分析のほか、映像とデータを組み合わせた新たな視聴体験などにも活用されているという。「セリエAやNBA、MLBのほか、日本では東京ヤクルトスワローズでも採用されている。モーションキャプチャーとは異なり、選手などが特別なデバイスをつけることがなく、カメラの映像だけでデータを取得できるのが強みである。リアルの試合を、キャラクターを使って、バーチャル上で再現することも可能である。今後はスポーツに限らず、ミュージックライブを行うアーティストのパフォーマンスを可視化するなど、ソニーのエンタテインメントビジネスに応用することを目指す」という。

ソニーの「リアリティの追求」とは？

2つめのカテゴリーである「リアリティの追求」では、現実世界を超える没入感を実現する「OLEDマイクロディスプレイと低遅延HMDシステム」、高画質と制作効率を両立する「超解像技術のRay Tracingへの応用」、息を飲む没入感を提供する「プレイステーション5に導入した3つの技術」という3点から説明した。

初公開となった「OLEDマイクロディスプレイと低遅延HMDシステム」では、片目で4K、両目で8Kの高解像度を実現し、高精細な3次元空間を映し出すVRヘッドマウントディスプレイを紹介した。

• 片目で4K、両目で8Kの高解像度を実現したVR HMD

CMOSイメージセンサーの開発、製造で培った微細加工技術を生かした多画素化および小型化と、ディスプレイ開発で培ったデバイスや回路技術を生かしたOLEDマイクロディスプレイにより、高画質化を実現。複数のセンサー情報を組み合わせることで、システム全体で遅延量の削減を行い、処理時間を短縮。視聴している人の頭の動きに合わせて素材のテクスチャや人の表情などを、高精細に、リアルタイムに表現できるという。

「リアリティがある映像体験を実現するためには、画像を拡大しても、ドットを視認できないレベルまで多画素化する必要があり、同時にVRヘッドマウントディスプレイの限られた筐体内に収めるために、パネルサイズを小さくすることが求められている。この2つの要求を満たすため、1インチクラスで、4K解像度を実現した超高精細4K OLEDマイクロディスプレイを開発した。スマートフォン向けのものに比べて2倍の画素数を持ち、それでいて20分の1にまで小型化した。ここには、CMOSイメージセンサーで培った微細化技術と実装技術を応用している」（ソニーグループ R&Dセンターの木村圭氏）という。

• 両目8Kを可能とした4K OLEDマイクロディスプレイ

また、「VR視聴の際には、ピクセル感がなく、そこにモノがあるかのように感じる高精細3次元空間を映し出すことができる。また、視聴者の頭の動きにあわせて映像を、0.01秒以下の低遅延で、リアルタイムに表示することで、立体感や距離感を表現している。複数のセンサー情報を組み合わせて、ディスプレイへの出力直前に頭の位置や向きにあわせて映像の変換を行う遅延保証技術によって解決している」（ソニーグループ R&Dセンターの石原靖子氏）という。

今後、仮想空間のコミュニケーションやライブエンタテインメント領域、医療トレーニングや製造現場の作業支援、インダストリアルデザイン領域、教育など、幅広い分野での活用が期待できるとしている。「大人数での空間共有のための技術開発も進めていくことになる。デバイスの低コスト化も追求し、将来的には一般消費者向けにも広く提供できるようにしたい」と述べている。

「超解像技術のRay Tracingへの応用」も今回初公開した技術だ。クリエイターが求める高画質を提供しながら、処理時間を短くし、より多くの作業を支援することができるようになるという。

ソニーが1990年代から取り組んできた機械学習を用いた映像開発のノウハウを活用。限られた演算リソースのなかで、性能の最大化や、あらゆるシーンの映像に対して、様々な観点から、高い精度で高解像度化を実現するという。

「3Dコンテンツはデータ量が多く処理に時間がかかるが、この技術を活用することで、キャラクターの形状、テクスチャ、照明などの情報を用いて、利用する光線の数を絞り、レンダリングすることで、処理時間を数100分の1にでき、高画質と制作効率の向上を実現できる」（ソニーグループ R&Dセンターの森藤孝文氏）という。

• 超解像技術のRay Tracingへの応用技術も公開

この技術により、2Kを4K画像にする超解像による高精細化を、限られた性能のなかで実現。レンダリング情報を用いた3Dコンテンツの高速な制作などにも応用できるという。今後は、ソニー・ピクチャーズエンタテインメントと連携し、クリエイターの声を反映しながら開発を進めるとともに、応用範囲を3Dに広げるなど、エンタテインメント領域における幅広い展開を目指すという。なお、同技術は、すでに映画「Hotel Transylvania 4」で検証されているという。

• 瓶の光の反射など、Ray Tracingによる表現が明らかに向上していることがわかる

「プレイステーション5に導入した3つの技術」では、プレイステーション5に搭載している「Tempest 3Dオーディオ」、「ハプティックフィードバック」、「アダプティブトリガー」の3つを紹介した。

Tempest 3Dオーディオは、正確なオーディオポジショニングを実現できるように開発した専用DSPを利用。無数のスピーカーが配置された球体の中に入るようなイメージで、360度どこからでも音が聞こえてくる技術だ。VBAPと呼ばれる3D空間で音像を表現。スピーカーの音圧を変化させるとともに、位相を計算して最適な音を再現するという。

「市場で幅広く入手可能なヘッドフォン向けのバイノーラル再生処理をユーザーにあわせて行うことで、すべての人に最適な3Dオーディオを届けることができる。ゲームでは鳥が飛んでいる音が頭の上から聞こえたり、滝の音が立体感を持って聞こえたりする。見えない敵がどこにいるのかといったことも音で捉えることができる。ゲーム内でのより精密な音場の再生や制作環境の充実、再生環境の最適化を目指す」（ソニー・インタラクティブエンタテインメント プラットフォームエクスペリエンス ソフトウェア開発本部の今井憲一氏）とした。

• 無数のスピーカーが配置された球体の中に入るようなイメージで、360度どこからでも音が聞こえてくる

ハプティックフィードバックは、新規に開発したデュアルアクチュエーターをゲームのコントローラに内蔵。そこから発生する振動をゲームの状況に応じて変化させることで、触覚に訴えかける多彩な反応を実現。没入感がある体験を提供することができる技術だ。 「キャラクターが歩く地面の状態や、武器ごとに異なる反動を発生させることができる。引っ張られているような感覚も引き起こすことができ、表現力豊かに感触を伝える。クリエイターが振動データを簡単に開発できるツールも提供している。クリエイターのアイデアによって、気がつかないような使い方が登場することにも期待している」（ソニー・インタラクティブエンタテインメント プラットフォームエクスペリエンス ハードウェアエンジニアリング＆オペレーション本部の五十嵐健氏）とした。

• 新開発のアクチュエーターにより、触覚フィードバックによりリアリティが生まれた

また、アダプティブトリガーは、DualSenseワイヤレスコントローラーのL2/R2ボタンに採用したもので、内部に組み込んだ小型精密ギヤと高トルクのモーターにより、ゲーム内のアクションに応じて、パワフルで、リアルタイムでの触覚を生み出すことを可能にしている。

「プレイステーション5にプリインストールされている『ASTRO's PLAYROOM』は、ハプティックフィードバックやアダプティブトリガーを体験するのにお勧めのタイトルである。今後も、操作性のさらなる改善と触覚表現力を向上させ、没入感の高い、感動するゲーム体験を提供する。これらの触覚技術は、プレイステーション5向けの次世代VRシステムのコントローラにも搭載する予定である。The Best Place to Play （最高の遊び場）を提供することを目指す」と述べた。

• プレイステーション5向けの次世代VRシステムのコントローラ

ソニーの「人・社会・地球への貢献」とは？

最後のテーマである「人・社会・地球への貢献」では、光の粒から世界を捉える「積層型SPAD距離センサー」、繊細な人の手を再現する「マニピュレーター」、地球をみまもる「地球みまもりプラットフォーム」の3点を紹介した。

「積層型SPAD距離センサー」は、2021年9月に商品化したもので、微弱な光エネルギーを捉え、高い精度で周囲の物体との距離を検出できるセンサーだ。CMOSイメージセンサーの開発で培った強みを生かし、1チップで小型ながら、近距離から遠距離まで高速かつ高精度な距離測定を実現する。

「光を検出して電気信号に変換するSPAD(Single Photon Avalanche Diode)画素、電気信号を伝達するCu-Cu（カッパー・カッパー）接続、伝達された信号から測距処理を行う回路などを搭載したロジック回路の3つの要素で構成しており、これを業界初となる独自の積層構造で、ひとつのチップに小型化できた。ソニーの車載領域のキーテクノロジーのひとつとして、さらに進化させていく」（ソニーセミコンダクタソリューションズ 車載事業部の赤塚和久氏）という。

これを車載LiDARに活用することで、道路状況や車両、歩行者などの位置や形状を認識できる。クルマから数cm程度の近距離から、100m以上の遠距離まで、15cm間隔での高い精度で周囲の物体が検出できる。

• 道路状況や車両、歩行者などの位置や形状を高い精度で立体的に認識できる

• チップは小型で、自動車はもちろん、より小型の物体にも搭載できそうだ

「これまでの技術蓄積と、新たな特許技術を組み合わせ、自動運転の実現に向けて、高感度のSPAD距離センサーを開発した。車載LiDARの検知、認識性能の進化に貢献し、安心安全なモビリティ社会を実現する」（ソニーセミコンダクタソリューションズ 車載事業部の鈴木俊平氏）と述べた。

将来的には、AIを活用したセンサーのインテリジェント化にも取り組み、ドローンや産業機器の自動走行などへの応用も視野に入れているという。

「マニピュレーター」は、ロボットの腕や手が、未知の物体でも丁寧に扱うように動作ざせる技術だ。指先で検出した圧力分布の変化から、物体の滑りの前兆をリアルタイムに検知。適切に物体を持つ力を調整できるため、滑り落とすことなく物体をつかむことができる。

• 適切に物体を持つ力を調整できるマニピュレーター

また、距離センサーによって、指から物体までの距離を把握できるため、適切な位置や姿勢で物体を持つことが可能になる。

「一般的なマニピュレーターは、決められた環境で、あらかじめプログラムされた動きを、正確に、素早く動作させることになるが、より複雑な環境で人と協調して動くためには、特性がわからない物体でも丁寧に扱えることが求められている。つかむ力が強すぎても、弱すぎてもいけない。ひとつひとつの形が異なる野菜や、バラの花のようにそっと持つ必要がある場合でも、人間の手のように繊細に物体をつかむことができる。コップに水を注ぐ場合など、徐々にコップの重さが変化する場合でも、触覚センサーを用いて重さの変化を敏感に検出し、つかむ力を適切に制御する」（ソニーグループ R&Dセンターの坪井利充氏）という。

世界初となる部分は、未知物体に対する任意方向のすべり予測を数理モデル化した点だ。これにより、柔らかいものから固いものまで、様々な物体をつかむことができるようになるという。

• つぶすことなく花すらつかむことができる

事前のデータが不要であり、食品を扱う商品陳列や、料理、介護現場での活用など、従来のロボットでは導入が難しかった新しい領域において、人間の仕事を手伝うことが期待できるという。「すでに実証実験を開始し、現場からのフィードバックを得て、開発に生かしている。R&Dセンター内での連携も進めているほか、センシング技術と制御技術の統合、長年のロボット技術も活用している。AIと高度なセンシング技術をロボットに組み込むことでマニピュレーターの能力を強化し、人の生活を豊かにするロボット技術の開発を続けていく」としている。

「地球みまもりプラットフォーム」では、地球上のあらゆる場所をセンシングし、環境問題や、災害などの異変の予兆を察知し、問題発生を未然に防ぐ仕組みを提供することになる。これも今回初めて発表した技術だ。

• SFチックな「地球みまもりプラットフォーム」

「人類社会は知らないうちに、地球社会に悪い影響を与えている。地球みまもりプラットフォームにより、異変の予兆を捉え、サステナビリティにつながる行動を人々に促すことができる。持続可能な未来に向けて、具体的なアクションにつなげたい。ソニーでは、地球みまもりプラットフォームによる取り組みを『MIMAMORI』と表現し、様々な『みる』と、様々な『まもる』という意味から活動を行っていくことになる」（ソニーグループ R&Dセンターの木村学氏）とした。

ここで鍵となる技術は、変化を捉えるセンシングと超低消費電力エッジAI、変化を伝える超広域センシングネットワーク、変化を理解する予兆分析だという。

• 鍵となるのはセンサーとデータ分析だ

土壌水分センサーでは、土壌の水分量を高精度に測定することで、水を適切にコントロールすることで、野菜などが、より強く、健康に成長し、高い品質を引き出すことができるという。

「温暖化は、農業に大きなインパクトを与えている。気温の上昇や天候の変化などのほか、潅漑に用いる地下水が枯渇する地域もある。土壌水分センサーを活用して、農業などにおける課題解決に取り組んでおり、現在、農業系学校でのトマトのハウス栽培や、畜産試験場などでの家畜の行動解析といった実証実験を行っている」（ソニーグループ R&Dセンターの山田篤氏）という。

「センシングネットワーク」では、無線通信規格であるLPWAを活用して開発したELTRES (エルトレス)を紹介。「伝送できるデータ量は少ないが、確実に遠くまで届くのが特徴であり、衛星通信システムを利用することでサポートエリアを地球全体に広げることができる。様々なIoTデバイスやセンサーから高頻度に情報を収集する仕組みを開発している」（ソニーグループ R&Dセンターの桐山沢子氏）という。

ソニーでは、ELTRESに対応した独自の衛星無線実験装置を、国際宇宙ステーション（ISS）の日本実験棟「きぼう」の船外実験プラットフォームに設置したと発表。地上のIoTデバイスから送出された電波を同実験装置で受信することに成功したという。ここでは、長距離安定通信と高速移動体通信の特徴を生かし、地上から送出された電波を、上空400kmの軌道上を高速移動するISS側で高精度に受信することができた。「衛星からの利用を実証できたことで、超広域センシングネットワークの実現に向けて一歩前進できた」と述べた。

AIを活用した予兆分析技術は、収集したデータをもとに、AIを活用することで環境や観測対象の予兆を捉え、課題を解決するものだ。「過去の水位や周辺の降水量のデータをもとに、AI技術で河川の氾濫を予兆検知し、河川の数時間後の水位を高精度に予測でき、河川氾濫の予兆をつかむことができる。AI活用のハードルを下げることで、活用シーンを広げたい」（ソニーグループ R&Dセンターの高松慎吾氏）という。同技術は、ソニーネットワークコミュニケーションズの分析ツール「Prediction one」に採用され、実用化されている。

ソニーグループ R&Dセンターの木村学氏は、「これらの技術を活用したフィールドワークや実証実験を、世界中の様々な場所で行っている。地球みまもりプラットフォームの実現に向けて、ソニーセミコンダクタソリューションズのインテリジェントビジョンセンサー『IMX500』や、IoT向けスマートセンシングプロセッサ搭載ボード『SPRESENSE（スプレッセンス）』などとの連携も有用であると考えている。持続可能な未来の実現に向けて、さらなる技術の開発を進めていく」とした。