ソニーは一般にウォークマンやテレビのBRAVIA、スマホのXperiaなど、コンシューマー向けエレクトロニクス製品を手がける日本のブランドとして広く知られてます。一方で、映像製作のプロ、自動運転、医療にまで、幅広く技術やサービスを開発、提供しているテクノロジー企業です。

そんなソニーが、現在取り組む研究開発の成果について、一部を報道関係者に公開する「ソニー・テクノロジーデイ」が開催されました。その中から筆者が特に注目した、ソニーの最先端技術を紹介します。

ライブ映像の伝送も5Gで高速化

ソニーは現在、クリエイターが制作したコンテンツに込めた意図を、ありのまま高品質にユーザーの手元へ届けるための技術開発に注力しています。内容は「Connect」というコーナーに分類され、既に製品化されている8K対応BRAVIA「Z9G」シリーズの高画質、ソニーの業務用リファレンスモニターの高画質、それらを踏襲したフラグシップスマホ「Xperia 1」などが一堂に会しました。

  • ソニー・テクノロジーデイ

    クリエイターが意図した映像をありのままユーザーに届けられる高画質を特徴に掲げる、ソニーの8Kブラビア「Z9G」シリーズを展示

  • ソニー・テクノロジーデイ

    スマートフォンのXperia 1はクリエイターがパーソナルモニターとして使うことも想定して、ソニーの業務用リファレンスモニターの開発チームと一緒に画質を練り上げてきました

筆者が特に注目したのは、5Gの技術を活用した放送コンテンツのネットワーク伝送です。

日本国内でも202年から本格的に5Gの通信サービスが始まります。5Gは4K/8Kの高画質・大容量の映像データを遠隔伝送するために、最適なインフラといわれています。ソニーは、映画や放送など映像系のコンテンツクリエイションに関わるプロフェッショナル機器のエキスパートです。5G時代に向けてしっかりと研究開発が進んでいました。

テクノロジーデイの会場では、5G通信環境に見立てた高速Wi-Fiネットワークを使って、ネットワーク伝送技術のシミュレーションを公開。業務用カメラなどで撮影した映像データを、「Virtual Production」システムで編集後、放送局やユーザーの視聴環境へほぼリアルタイムで届けます。Virtual Productionシステムは、放送制作のハードウェア機器をソフトウェア技術で仮想化したもので、クラウド上に置かれます。

  • ソニー・テクノロジーデイ

    5Gの通信環境を想定したライブ映像配信環境のデモンストレーション

既にソニーは、4G LTEネットワークを活用して、放送用のコンテンツをネットワーク伝送するコア技術を提供しています。5G時代になると通信速度や容量面のキャパシティが大幅に拡大するので、放送機器の進化と、これに伴ってユーザーニーズも増えるでしょう。ここでいう「ユーザー」とは、映画・放送製作に関わるプロフェッショナルに限りません。

例えば、一般企業や自治体が自主製作した動画を、キャパシティが拡大した5Gネットワークに乗せて視聴者に提供するサービスも増えてくる可能性があります。上で述べたように、放送機器そのものをコンパクトに使いやすい形で提供するために、ソニーは映像の編集や配信を行うソリューションをハードウェアからソフトウェアへと仮想化して、クラウド上で簡易に扱える映像制作環境「Visual Production」として開発を進めています。

これからは個人が制作したコンテンツを、映像配信のプラットフォームに提供・販売するビジネスも数多く生まれてくるかもしれません。映像によるクリエイション、あるいはメッセージの発信が、従来のスタイルから大きく変わる可能性を感じる展示でした。

映画の撮り方を変える! モーション&空間キャプチャーの技術

VRやARなど次世代の映像コンテンツを制作するための技術は、「Empower(限界を解き放つ)」というテーマを掲げるコーナーに集められていました。

  • ソニー・テクノロジーデイ
  • ソニー・テクノロジーデイ

    CGの空間の中に人物の動きをキャプチャーして再現するリアルタイム画像合成の技術もソニーが得意とするところです

人物と景色(背景)の映像を別々に撮影して、あとから合成する技術は日進月歩で進化しています。例えば、巨大な映画の舞台セットを丸ごと映像データに記録できる、「Volumetric Capture」と呼ばれる技術が圧巻でした。

Volumetric Captureは、複数のカメラ、センサーの情報を統合して3次元のデジタルデータを作成。100%コンピューターグラフィックス化した仮想空間の中で芝居をしたり、ダンスを踊る人物の動画を合成すれば、どんなサイエンス・フィクションでも、または過去の世界にタイムスリップした歴史大作も撮ることができてしまいます。

人物の動きを正確に、かつリアルにとらえるモーションキャプチャーの技術も、驚くほど高いレベルに到達していました。従来は人物の動きを正確にキャプチャーするために、大がかりなスタジオ設備と全身スーツを着ることが必要でした。ソニーが開発した身体装着型の小型・軽量センサーは、頭と腰、両手足の計6カ所に装着するだけで、全身の3次元位置、関節、姿勢を推定しながらモーションキャプチャーが取れる高性能なデバイスです。

  • ソニー・テクノロジーデイ
  • ソニー・テクノロジーデイ

    最新の技術では小型・軽量な6つのセンサーを身に着けるだけで、関節の位置などを推定しながら全身の正確なモーションキャプチャーが取得できます

この技術を応用すると、ユーザーの動きをゲームの中でリアルに反映させるといったように、VR/AR系コンテンツの可能性が一気に広がります。アスリートの身体に装着すれば、スポーツ中継のリアルな追尾・リプレイ映像も制作できそう。また、医療やデジタルサイネージ方面への展開も検討されているとのことでした。

  • ソニー・テクノロジーデイ

    VR空間の中に撮影した人物を配置。自然な距離感の映像コンテンツを再現する6DoF映像技術も研究が進められています

実写の映像、またはコンピューターグラフィックスに対して、息をのむような光によるリアルな映像効果を加えられる「Ray Tracing(光線追跡)」技術も、インパクト大。光の量や入射角度を緻密に計算しながら、オブジェクトにリアルな陰影を与えられる技術です。

これを応用すると、プラスチックや鏡など、光の反射が作り出す「マテリアル特有の質感」を、カメラでとらえたオブジェクトや風景全体にレンダリングして、擬似的に質感を付与した「現実には有り得ない映像」を表現することも可能になります。

  • ソニー・テクノロジーデイ

    光によるリアルな映像効果を、カメラで撮影した実写映像にリアルタイムに加える「Ray Tracing(光線追跡)」のデモンストレーションが行われました

レイトレーシングのリアルタイム演算処理には膨大なCPU/GPUのパワーが必要になるため、この日のデモンストレーションではモンスター級の専用機材が使われていました。将来的には、現在でいうゲーミングPCや、ひょっとしたらモバイル端末で同様の処理ができるようになるかもしれません。ユーザーがいる周囲の風景をカメラでキャプチャーして、コートやスーツの形をした折りまげ可能なディスプレイにリアルタイム処理の結果を反映したらどうでしょう。人間を風景に溶け込ませる映像を表示できれば、攻殻機動隊に登場する“光学迷彩服”も現実のものになるのでしょうか。

  • ソニー・テクノロジーデイ

    光の反射・屈折を計算したパラメータをカメラの映像に加えて様々なオブジェクトにあてがうことによって「透明」にすることもできます

  • ソニー・テクノロジーデイ
  • ソニー・テクノロジーデイ

    またはカメラでプラスチックの容器を撮影。キャプチャーした色や質感を自由の女神像にあてがうと写真のようなイメージになります

自動車の眼は人の眼を超える

自動運転や医療、ロボティクスに関連する技術は人間の認知を「Exceed=超える」技術として展示されていました。

  • ソニー・テクノロジーデイ
  • ソニー・テクノロジーデイ

    車載用CMOSイメージセンサーは、人の目では見えない暗がりの中でも歩行者や障害物を正確に検知します

ソニーは安全な自動運転を実現するための、人物や障害物の認知技術、走行車線認識などに必要な車載用CMOSイメージセンサー(カメラ)、レーダー(測距用電波探知機)の開発を手がけています。

自動車が走行する環境はいつ、どんなときも明瞭な見通しが確保されているとは限りません。ソニーでは複数のセンサーを組み合わせて互いの弱点を補い合う「センサーフュージョン」技術を練り上げることによって、悪天候や逆光など目視では厳しいドライブ環境でも、安全で高精度な物体認識をサポートする技術を開発しています。

  • ソニー・テクノロジーデイ

    イメージセンサーとレーダーを組み合わせた「センサー・フュージョン」の技術もブラッシュアップを続けています

CMOSイメージセンサーも世代を重ねて進化を続けています。最新の車載用CMOSイメージセンサー「IMX490」では、540万画素の高解像度を実現。月明かりのみの暗い場所でも、色を識別できるほど感度を高め、逆光環境でも色を飽和させないダイナミックレンジとフリッカーノイズを抑制した高性能を誇ります。人の目を超える環境認識をサポートするセンサーです。

ソニーの車載用CMOSイメージセンサー技術は、低消費電力性能も特徴。複数のセンサーをドローンやaiboのような小型エンターテインメントロボットに載せても、これをバッテリーパックで駆動できる効率の良さです。ソニーの技術担当者は「今後も人と寄り添える自律型のロボットを製品化するときには、ソニーのセンシング技術が多くの課題を解決できるだろう」と、自信を込めて語っていました。

  • ソニー・テクノロジーデイ

    低消費電力のイメージセンサーを複数組み合わせて、バッテリー駆動で動くドローンやロボットに組み込むことができます

  • ソニー・テクノロジーデイ
  • ソニー・テクノロジーデイ

    工場や医療現場での精密な作業を実現するロボットの制御技術。カメラでミクロの世界をとらえながらロボットを精密に動かし、ハプティクスセンサーで動かす人の手に物体に近い触感を返します

共創も模索しながら、ソニーの技術は成長を続ける

今回のソニー・テクノロジーデイでは、冒頭にソニーの社長兼CEOである吉田憲一郎氏が出席し、ソニーという企業における「テクノロジー」の位置付けについて考えを述べました。吉田氏は「ソニーにとってテクノロジーとは、コーポレートポリシーである人に近づく感動体験を作り出すための重要な柱。これを支える自社の豊富な人材とともに、テクノロジーに裏打ちされたクリエイティブエンターテインメントカンパニーとして、今後も成長を続けていきたい」と宣言しました。

  • ソニー 社長兼CEO 吉田憲一郎氏

    ソニー 社長兼CEO 吉田憲一郎氏

ソニーの専務 R&D担当である勝本徹氏は、研究開発部門の役割は「ソニーのテクノロジーに横串をさして、多様な事業のすべてに力を与えること」であるとします。そのうえで「今回お見せしたテクノロジーは、いまのソニーが研究開発に取り組むもののほんの一部。今後も様々な機会を作って、皆様に可能な限り最先端の技術をお見せしていきたい」と語っていました。なお直近では、10月15日に千葉県幕張メッセで開催予定のCEATEC JAPANにて、医療現場や先進医療の研究分野に向けたソニーの取り組みが公開されるそうです。

  • ソニー 専務 R&D担当 勝本徹氏

    ソニー 専務 R&D担当 勝本徹氏

現在は、ソニーだけでなく世界中のグローバル企業が、得意とする技術や研究開発の成果を持ち寄って、ひとつのプロジェクトを推進する「共創」「オープンイノベーション」を熱心に取り組みつつあります。

勝本氏は今後のソニーが取り組む研究開発の成果についても、これまで通りソニーとライバルの製品差別化に生かす戦略は堅持しつつ、「時流に合わせた柔軟な対応も必要」という考え方を述べていました。

「以前はある技術や製品、サービスの開発を社内のリソースを活用して垂直統合でやり遂げることが可能でした。でも現在は、ある製品やサービスを例として見ても、その入力から出力まで様々なデバイスや高度な技術が求められます。

ときには必要なパートナーシップを組ながら、人に近づくサービスを実現するために大事なことを追求して行く姿勢が求められると考えています。いまのソニーが持たないものは、オープンイノベーションでパートナーと一緒に立ち上げて、互いにコミュニケーションを図りながら獲得していく。そうした成果のウェイトは、今後も増えていくでしょう」(勝本氏)

一方で、ソニーが他社との差異化を図れるポイントについては、マテリアルからソフトウェアのアルゴリズムまで、重要なものはさらに開発を加速。そうして生みだした成果を、製品やサービスの形態に応じて最適化しながら埋め込んでいくとしました。現在のソニーが持つ様々な技術資産を有効に活用することにも、積極的に取り組んでいきたいと勝本氏は語っています。今後も「ソニーらしいテクノロジー」がどのような形で花を開かせていくのか楽しみです。