ソニーのハイエンドスマートフォン「Xperia 1」シリーズ。その最新モデルが「Xperia 1 IV」です。世界初という技術も投入しつつ、どんな機能向上が図られたのか。主力機能であるカメラについて、同社の担当者に話を聞きました。
-
Xperia 1 IV
高速センサーでメインカメラも画質改善
今回話を聞いたのは、同社モバイルコミュニケーションズ事業本部企画マーケティング部門企画部の滝沢宏樹氏、イメージングプロダクツ＆ソリューションズ事業本部 商品技術センター コア技術第1部門光学設計部の亀淵健太氏、イメージングプロダクツ＆ソリューションズ事業本部システム・ソフトウェア技術センター モバイル設計部門カメラ設計部カメラ画質設計課の手嶋裕紀氏。商品企画やTeleモジュール光学設計、AE制御をそれぞれ担当した方々です。
-
モバイルコミュニケーションズ事業本部企画マーケティング部門企画部の滝沢宏樹氏
-
イメージングプロダクツ＆ソリューションズ事業本部 商品技術センター コア技術第1部門光学設計部の亀淵健太氏
-
イメージングプロダクツ＆ソリューションズ事業本部システム・ソフトウェア技術センター モバイル設計部門カメラ設計部カメラ画質設計課の手嶋裕紀氏
今回のXperia 1 IVは、望遠カメラにおいて光学ズームを投入しました。過去に光学ズームを搭載したスマートフォンがなかったわけではありませんが、主流になるまでには至りませんでした。Xperia 1 IVでは、望遠カメラのみとはいえ、前モデルとほとんど変わらないサイズで光学ズームを搭載しています。
-
Xperia 1 IVは3つのカメラが縦に並ぶ構造。一番下が望遠ズームレンズ
Xperia 1 IVの製品を紹介するにあたって、光学ズームについて言及されることが多く、メインカメラの新機能はそれほどアピールされていない感があります。これに対して手嶋氏は、メインカメラについて「マルチフレーム技術の改善をした」と話します。
画像処理エンジンの改善と高速読み出しセンサーによってHDR方式を刷新。30fpsの動画を撮影する際に60fpsで撮影して合成することで、より解像感の高いHDR動画が撮影できるようになったほか、HDR連写が可能になり、ダイナミックレンジが大幅に改善したと言います。
ノイズリダクションにおけるマルチフレーム技術も新機能で、新しいSoCの技術を活用しており、重ね合わせ技術によってXperia 1 IIIよりも低ノイズの撮影が可能になったそうです。
メインカメラに対して、超広角／望遠の2つのカメラはセンサー自体が刷新されました。120fpsの読み出し速度で20コマ/秒のAF/AE追従連写、リアルタイム瞳AFといった高速性能を実現しましたが、メインカメラと同様にマルチフレーム性能を備えました。HDRやノイズリダクション面で画質が向上していると言います。
-
動物も対応したリアルタイム瞳AFを搭載
広角カメラに加えて望遠カメラでは、FlawlessEye対応ハイブリッド手ブレ補正を搭載しています。読み出し速度が高速化したことで、重ね合わせ処理による手ブレ補正が強化されたそうです。
望遠光学ズームは、画質面でどこまで貢献するか
Xperia 1 IIIでは、2つの焦点距離を切り替える望遠カメラを搭載しましたが、「同一のセンサーで焦点距離を拡大したかった」のだと滝沢氏は言います。そのためのXperia 1 IIIにおける焦点切り替え方式の採用でしたが、この時点では「技術的な課題があって光学ズームにたどり着けなかった」（滝沢氏）とのこと。
そしてXperia 1 IVでようやく完成したのが望遠カメラの光学ズームです。スマートフォンでは薄型ボディが必要なので、1つのレンズで広角から望遠までをカバーするのは現実的ではありません。逆に、複数の焦点距離をカバーするために必要以上に多くのレンズを搭載するのも限界があります。
「できるだけカメラを増やさないで焦点距離を増やすことが、ユーザー体験を向上させる」（滝沢氏）ということから、まずは望遠側での光学ズームを実現しました。「理想をいえば（超広角カメラと同じ）16mmからのズームレンズをやりたいが、スマートフォンでは難しい」と滝沢氏は言います。
望遠光学ズームは35mm判換算85～125mmなので、光学倍率としては1.2倍程度と低いのですが、それでも「中間域で解像度のメリットがある」と語るのは、望遠カメラの設計に携わった亀淵氏。Xperia 1 IIIでは望遠カメラのワイド端とテレ端の2点の画質だけを考えれば良かったのですが、ズームになるとその中間域のパフォーマンスも安定させなければならず、この点に「一番苦労した」（亀淵氏）ということでした。
最も注力したのは、レンズやアクチュエーターなどのメカ部品で、「品質が今まで以上に大事になる」（亀淵氏）。そのため、部品の品質を高め、それぞれの特徴に合わせて組み合わせるプロセスを最適化して実現したそうです。
レンズ設計に加えて、望遠ズームを実現するための工夫として、Xperia 1 IIIよりもセンサーサイズを小さくしたことが挙げられます。実をいうと、Xperia 1 IIIとXperia 1 IVでは望遠カメラの35mm判換算焦点距離が70／105mmから85～125mmに変わっていますが、レンズの実焦点距離は変わっていません。
同じレンズでもセンサーサイズが小さくなると、35mm判換算の焦点距離は長くなります。Xperia 1 IVでもセンサーが小さくなったために35mm判換算の焦点距離が伸びていますが、センサーサイズが小さくなるとどうしても画質に影響が出ます。特にノイズやダイナミックレンジの面で不利になりますが、それをマルチフレーム技術で補い、「Xperia 1 IIIと同等かそれ以上の画質を実現した」（手嶋氏）そうです。加えて、光学ズームになったことで中間域の画質改善のメリットもある――と手嶋氏は話します。
デジタルズームと光学ズームでの画質差がどの程度あるかについて、滝沢氏は「ぱっと見はそこまで分からないかもしれないが、よく見たときにはデジタルズームだと劣化している」としており、これまでも「デジタルズームだから中間域を使わないという人もいた」（滝沢氏）のだそうです。
-
Xperia 1 IVの望遠ズームのUI。デジタルではなく光学ズームであることを示すようなUIになっています
光学ズームは、動画撮影にも大きな影響があります。デジタルズームの画質を向上させる超解像技術というものはありますが、動画撮影時に毎フレームこの処理を行うのは難しいため、動画ではとくに光学ズームの方が画質面で有利だそうです。
ハードウェアとしての望遠ズームレンズは、倍率を大きくしようとすると技術的には当然困難があります。特に大きさが問題で、レンズを小さくしようとすると明るさが犠牲になります。ですが、亀淵氏は「難しいが、さらに（倍率を）伸ばしていきたい」と意気込みます。今回、望遠のみではありますがズームレンズを開発したことで、「ノウハウは得られた」と亀淵氏。注意すべき点、一定の性能を得るための知見。そうしたものを今後の開発にも生かしていきたいと言います。
また、望遠ズームレンズに加えて、Xperia 1 IVでは動画撮影時に超広角の16mmから望遠側のテレ端である125mmまでシームレスにズームできるようになりました。カメラが縦に並んでいるため、レンズ切り替え時にずれが生じないようにすることが「すごく難しい」（手嶋氏）とのことで、実際レンズ切り替わりの際には画面がカクッとズレます。
スマートフォン1台ずつを調整して、ソフトウェア制御によるズレの軽減だけでなく、色味やホワイトバランスの調整も行っているそうです。それでも、現状ではズレの完全な解消には至っていません。
にもかかわらずシームレスズームを搭載したのは、「動画は一発撮りがメイン」（滝沢氏）という考えからから。これまで、レンズを切り替えるには録画を停止しなければならず、その間に一瞬のチャンスを録画できない方がデメリットである、というのが開発陣の考えだそうです。
カクッというズレ自体は、一瞬なので我慢もできますし、編集時に処理すれば解消できます。それよりも、「広角カメラで撮り始めたけど、もっと望遠で寄って撮影したい」と思ったときに録画を停止しなければならない――というのデメリットのほうが大きい、というのは納得できる判断でしょう。
コンピュテーショナルフォトグラフィーで忠実に
最近のスマホカメラで大きなトピックがコンピュテーショナルフォトグラフィーです。機械学習を活用した画像処理によって画像を生成することから、これまでの写真よりも見栄えの良い写真が撮影できることが多くなります。
Xperia 1 IVでも、「結構頑張っていろいろやっている」と滝沢氏。被写体を認識するAFや色味などに機械学習を活用しているそうで、ハードウェアと組み合わせて犬の瞳AFのような「他社とは違ったAIの使い方をしている」（滝沢氏）と話します。
色味に関してはオートホワイトバランスで活用しているそうですが、あくまで「忠実な、見たままの色味を実現するため」（滝沢氏）とのことです。コンピュテーショナルフォトグラフィーでは派手な色味になりがちなところを、Xperia 1 IVでは「AIで逆に忠実な色味にしている」と滝沢氏は強調します。
この背景にあるのは、Xperiaのカメラは「自由度を提供している」（滝沢氏）という考え方です。目で見たのと同じ色味の静止画や動画を記録することで、ユーザーの好みに応じて編集できるように、加工したものではなくあくまで素材を残す――それがXperiaのカメラだというわけです。
Xperia 1 IVのカメラは、望遠ズームレンズの搭載という新たな使い勝手を実現しましたが、まだ発展途上という印象があります。ノウハウが蓄積されることで、今後の開発にも期待が持てると感じました。
