Xperia XZ2 Premiumのデュアルカメラは、ソニーセミコンダクターソリューションズとソニーイメージングプロダクツソリューションズの2社による高感度カメラモジュール、ソニー R&Dの画像合成アルゴリズム、ソニーセミコンダクターソリューションズの画像融合処理プロセッサーを組み合わせることで実現しています。

  • デュアルカメラシステムは、ソニーグループ内の各社との密接な関係を生かして開発したとしています

  • Xperia XZ2 Premiumのカメラ構成

これらソニーグループ各社の製品や技術を使うだけでなく、Xperiaチームと共同で設計することで、最適な画質になるようにカスタマイズをしたとのことです。セミコンダクターソリューションズからは10人以上が半年にわたって常駐したり、ソニーのカメラチームとXperiaチームとの協力関係もさらに強化されたりと、「まさに“ワンソニー”で開発した」(ソフトウェア技術部門SW開発4部Camera Advanced Technology課カメラ画質設計担当の板垣秀星氏)と強調します。

デュアルカメラは、離れた位置にある2つのカメラで撮影した画像を合成する必要があります。この合成を担当するのが、画像融合処理プロセッサー「AUBE」です。Xperia XZ2 Premiumでは、画像処理エンジン「BIONZ」はソフトウェアベースで実装されていますが、このAUBEは高速な処理が必要なことからハードウェアとして実装されています。

  • カラーセンサーから生成されたベイヤー画像をYUV変換した後、モノクロセンサーと合成する際にズレ補正が行われます。これを担当するのがAUBEです

  • Xperia XZ2 Premiumのデュアルカメラモジュール。写真は、今年2月にスペイン・バルセロナで開催されたMobile World Congress 2018で撮影したものです

  • こちらは画像融合処理プロセッサー「AUBE」です

2つのカメラが撮影した画像は、厳密にはズレが発生します。その1つが光軸ズレ。これは、カメラがピッチ、ヨー、ロール方向に傾くことで、そのまま合成しようとしても2つのカメラの傾きが異なることで正確に合成できなくなる現象です。

  • 光軸ズレは、カメラモジュールごとに異なるズレが発生することから生じます

これは、カメラ製造時の光軸合わせでも完全に調整し切れないそう。カメラユニット1台ごとに個体調整値を計測して設定することで、撮影時に幾何変換を行って補正しているそうです。ちなみに、この補正のために、実際の記録画素数の外周部はわずかに切り捨てることになっています。ちょうど動画の電子手ブレ補正のような形です。

  • 補正時、写真の赤枠より外側は切り捨てられるため、わずかに解像度が少なくなります

光軸ズレ以外に、2つのカメラの距離が離れていることで視差が生じ、被写体の距離によって画像上の位置が異なってしまう、という局所ズレも発生します。

  • 局所ズレは、遠景よりも近景の方がズレが大きくなり、ピクセルごとにずれる方向や量が異なります

これは、被写体との距離が近くなるほどズレが大きくなり、そのまま合成すると遠景はほとんどズレがないのに、近景がズレた画像になってしまいます。つまり、画像の一部だけがズレた画像になるわけです。このため、画像のピクセルごとにズレを測定して補正することで、ズレのない合成を行うのです。

  • 分かりづらいですが、背景のビルの窓の明かりはほとんどズレていないのに、双方の画像では人物の位置がわずかにずれています

  • 実際のズレを示した差分画像。分かりやすくエリアごとにズレが示されていますが、実際はピクセルごとにズレ量は変わるそうです

この合成(Fusion)を行うのがAUBEです。感度の高いモノクロ画像の輝度信号に対して、カラー画像から得られた色情報を画素ごとに位置合わせをしながら合成します。

Xperia XZ2 Premiumが搭載するSnapdragon 845は、GPUとしてAdreno 630を搭載していますが、このGPUでは位置ズレ補正と合成に100ms以上の時間がかかってしまうそう。動画は30fpsでフレーム間隔が33ms、60fpsで16msなので、GPUでは1フレームの間に処理できません。そのため、動画で撮影して合成しようとした場合、Adrenoではズレが発生して記録されてしまいます。このことからAUBEが必要になったのです。

実際の撮影時は、静止画の「プレミアムおまかせオート」では撮影シーンに応じてデュアルカメラの設定が変化します。明るい場合はカラーセンサーのみで撮影し、暗所撮影と認識されるとデュアルカメラになります。

マニュアル撮影モードだと、切替ボタンを押すことでデュアルカメラがオンになります。動画の場合は、デュアルカメラAuto設定にするとシーンに応じて自動でデュアルカメラになり、デュアルカメラOFFでカラーセンサーのみの撮影になります。