スマホカメラの画像センサの仕組みと「進化の先」を、ソニー開発者に聞く

近年、スマートフォンのカメラは目覚ましい進化を遂げ、高画質な写真や動画を日常的に記録できるようになった。ソニーセミコンダクタソリューションズ(以下、ソニーセミコン)も、スマホ向けイメージセンサーのトップベンダーとして長年にわたり貢献している。今回は同社モバイルシステム事業部の中田征志氏を訪ね、スマホ向けイメージセンサーの基本原理から最新のトレンド、そしてソニーの技術的な強みを聞いた。

• 

  ソニーセミコンダクタソリューションズ モバイルシステム事業部の中田征志氏。両手で持っているのがLYTIAイメージセンサー「LYT-T808」(型番：IMX888)、「LYT-900」(同：IMX06A)のサンプルだ

光を電気信号に換える、イメージセンサーの仕組み

イメージセンサーは光の粒子を電気信号に変換し、画像データとして出力する役割を担うデバイスだ。その心臓部となるのが「画素」(Pixel)であり、いかに多くの光をここに取り込めるかによって画質が変わる。

光が電子に変換される効率は「量子効率」(Quantum Efficiency/QE)と呼ばれ、各画素を構成するオンチップレンズ、カラーフィルター、フォトダイオードという主に3つの素子の相互作用によって高められる。

光を受けて電荷(電気の粒)に変換して蓄えるのがフォトダイオードの役割である。中田氏はこれを「バケツ」に例えながら、「バケツにどれだけ水(＝電荷)をためられるかが性能の決め手になる」と話す。十分な飽和電荷量を持つフォトダイオードを設計することによって、明るいシーンでも白飛びしにくくなり、ダイナミックレンジが広がる。つまり画像を緻密に描き分けるために必要な信号差が存分に出せるというわけだ。

発生した電荷をアンプトランジスタが電圧(電気信号)に変換した後、アナログ値をデジタルデータに変換する「AD変換」が行われる。ソニーセミコンはこのアナログ回路部分でのノイズ低減に注力し、画素とAD変換の両方で長年の経験を積み重ねながら「SN比(Signal-to-Noise ratio：信号対ノイズ)のバランスの良いものを作ることに腐心してきた」と中田氏は語る。

• 

  イメージセンサーの断面の図版
  出所：ソニーセミコンダクタソリューションズ

イメージセンサーは通常、ベイヤー配列に従ったRAWデータを出力する。近年主流となっているクアッドベイヤー(Quad Bayer)配列では、2×2の同色画素をひとまとまりにして構成するため、従来のベイヤー処理との互換性を保つために「リモザイク」(配列変換)処理が必要になる場合がある。このリモザイク処理まではイメージセンサーの積層チップが行う。こうした変換処理はクアッドベイヤーに限らず、他の様々な非標準画素構造のセンサーでも行われるようだ。

イメージセンサーの画素を読み出すたびにノイズが発生する。クアッドベイヤー配列では、複数の同色画素をまとめてアナログ的に加算してから1回の読み出しを行う「加算読み出し(ビニングモード)」により、読み出しノイズの影響を抑えることができる。特に暗いシーンの低照度条件下ではSN比率が向上し、ノイズに強い特性を発揮する。ただし、ビニングせず画素を個別に使って高解像度を確保する場合にはリモザイク処理がかかり、通常のベイヤー配列と同様のノイズ特性になる。

• 

  クアッドベイヤー配列における「リモザイク」処理の概念図(右)。左は全画素オートフォーカス技術の概念(後述)
  出所：ソニーセミコンダクタソリューションズ

高品質なデータ出力に欠かせない「アプリケーションプロセッサー」

イメージセンサーから出力されたRAWデータは、スマートフォンの頭脳にあたるSoCが内包するアプリケーションプロセッサー(AP)に送られ、本格的な画づくりの段階に進む。

• 

  映像ができるまでの信号フロー。上段がイメージセンサー側の処理で、下段がアプリケーションプロセッサー側の処理
  出所：ソニーセミコンダクタソリューションズ

一般的にイメージセンサーからのRAWデータは光源の色温度やセンサーの構造によりRGBのバランスが崩れているため、最初にホワイトバランス処理が必要になる。特にベイヤー配列の場合はグリーンの画素が多く配置されているため、相対的にグリーンの感度が強くなりがちだ。そこでAPはホワイトバランス処理として、夕暮れ時や日中の白色光など撮影シーンによって異なる光源を解析し、レッドとブルーの色成分のゲインを調整しながら白い被写体が自然な白に見えるように補正する。

次にデモザイク処理が行われる。ベイヤー配列などカラーフィルターアレイを使うイメージセンサーの場合、イメージセンサーの各画素はRGBのいずれか1色の情報しか持たないため、そのままではフルカラー画像として扱えない。デモザイクとは1画素1色のセンサーデータから、隣接する各画素のRGB成分を推定補間しながらRGB画像を生成する処理だ。この処理によって、ディスプレイなどで表示可能なフルカラー画像が得られる。

続くカラーマトリックス処理では色の精度・純度を高める。イメージセンサーのRGB信号には「クロストーク」(混色)が発生することがある。たとえばグリーンの信号にレッドやブルーの色信号が混じってしまった場合に、これを補正するためRGB間の引き算や足し算を行うことで色の精度を高める。

だが色信号と異なり、ノイズには相関がないため引き算によって完全に打ち消すことができない。このため複数成分の合成による混色ではノイズが累積しやすくなり、SN比率が低下する傾向にある。そのため「このカラーマトリックス処理による“引き算”そのものを可能な限り減らすことが、イメージセンサーの品質向上の鍵」なのだと中田氏は説いている。

ソニーセミコンでは、オンチップレンズによる集光精度を高めて光漏れを減らしたり、カラーフィルターの設計を工夫して画素間に分離構造を設けたりと、ハードウェアの作り込みによって混色を減らしながら、集光設計をトータルで追い込む技術を育んできた。

そしてAPの最終段にガンマ補正処理がある。ガンマ補正を行う前段階の映像は“のっぺり”としている。これを人間が目で見る光景に印象を合わせるため、暗部を持ち上げるなどの細かな輝度バランスの調整を行う。暗部を持ち上げるとノイズが目立ちやすくなるため、イメージセンサー側では元の暗所ノイズをいかに下げるかについても工夫を凝らしながら設計する。

イメージセンサーには位相差オートフォーカス機能が内蔵されており、専用画素を用いてフォーカスの前後ズレ(位相差)を検出できる。検出された位相差情報はAPに送り出され、AP内のISP(画像処理プロセッサー)が演算処理を行いながらフォーカス位置を調整する。イメージセンサーとAPは別個のハードウェアではあるものの、スマートフォンのカメラが搭載するAF(オートフォーカス)にAE(自動露出)、AWB(オートホワイトバランス)などの機能においては、それぞれが密接に連携しながら、ひとつの統合された撮像システムとして動作する。

スマホ用イメージセンサーの「3つのトレンド」

スマートフォンのカメラシステムが搭載するイメージセンサーはいま「動画の画質」を競い合っている。ソニーセミコンはイメージセンサーの動画撮影性能においても、他社と激しい競争を繰り広げながら切磋琢磨している。

イメージセンサーの動画撮影性能を磨くことは、静止画撮影のそれとは異なる難しさがある。たとえば動画撮影時にはシャッターの露光時間を長くできないという制約がある。30fpsの動画を撮影する場合、光を蓄積できる時間は最長33.3msに限られる。シャッター時間が伸ばせないとなればセンサーの「感度」を高めるほかないが、引き換えにノイズを下げるためによりシビアな対策が必要になる。

次にダイナミックレンジの課題だ。静止画では複数の画像データを合成してHDR(ハイダイナミックレンジ)を再現できるが、動画では複数のデータを同時記録しながらリアルタイムに合成処理を行うことは困難だ。ゆえにセンサー側でダイナミックレンジを広げることが求められる。

ズーム撮影時の解像度向上も求められている。静止画であればAIによる画像補完処理を後段でかけることもできるが、動画で同じことをするとなれば、ソフトウェアだけでは膨大な規模の処理がこなせない。そのためセンサー自体の解像度を高める必要がある。解像度が大きくなると読み出し速度や消費電力に影響が及ぶ。画素サイズを小さくすると、今度は取り込める光の量が少なくなってノイズが乗りやすくなる。

この「解像度」「感度・ノイズ」「消費電力」「ダイナミックレンジ」「読み出し速度」という5つの軸をバランスよく育てることが、高性能なカメラシステムをつくる際に大事なのだと中田氏は強調する。

• 

  モバイルカメラの性能進化。5つの軸をバランスよく伸ばすことが性能強化につながる
  出所：ソニーセミコンダクタソリューションズ

ソニーではスマートフォンが搭載するカメラシステムの多眼化とともに、イメージセンサーの「大判化」が今後もさらに進むものと見込んでいる。 スマートフォンのメインカメラやサブカメラにおける多眼化は、撮影の自由度向上に貢献する。一方の大判化は、イメージセンサーが大きくなることで取り込める光の量が増えるため「筋の良い」進化であると中田氏は語る。取り込める信号の量が増えれば、絵を作るために必要な情報量も増えて画質向上に結びつくからだ。

しかしながら、一方でイメージセンサーが大判化すると、引いてはスマートフォンの「カメラユニットの出っ張り」につながったり、プロダクトデザインに影響が及ぶトレードオフもある。1型までのセンサーサイズであれば、メーカーの工夫で対応可能と見られているが、それ以上の大判化にはイメージセンサーだけでなく、光学設計を含めたブレークスルーが求められるのではないかと中田氏は考えを説く。

• 

  モバイル向けイメージセンサーの詳細を説明する、ソニーセミコンダクタソリューションズの中田氏

イメージセンサーのサイズの限界を超えて、さらに高画質化を図ってきたソニーセミコンがたどり着いた新たなアプローチが「高密度化」だ。半導体設計のプロセスノードをより細密化することで、電子を貯める「バケツ」の容量を大きくしたり、センサーの機能を分けて「縦に積む多層化」によってこれを実現することに挑戦した。

• 

  プロセスノードの適合化・多層化による特性強化の一例
  出所：ソニーセミコンダクタソリューションズ

多層化とはイメージセンサーの機能を垂直方向(縦)に積層する技術であり、その最先端の代表例はソニーが世界で初めて開発した「2層トランジスタ画素」だ。

従来の積層型CMOSイメージセンサーでは、フォトダイオードと画素トランジスタが同じ基板上で土地を奪い合うように配置されていた。2層トランジスタ画素では、フォトダイオードの層と画素トランジスタの層を別々の基板に形成し、それを積層するという画素構造を採用している。

従来のひとつの画素面積をフォトダイオードが最大限まで活用できるだけでなく、画素トランジスタも最大化されることから、ノイズに対して堅牢な設計が可能だ。これにより、従来比で約2倍の飽和信号量を達成し、ダイナミックレンジの拡大とノイズ低減を実現した。つまりは低照度でも明るく、ノイズの少ない画像が記録できるというわけだ。

• 

  2層トランジスタ画素の概要
  出所：ソニーセミコンダクタソリューションズ

• 

  従来の積層型(左)と、2層トランジスタ画素積層型(右)のCMOSイメージセンサーによるシミュレーション画像比較
  出所：ソニーセミコンダクタソリューションズ

AI連携から見えてくる、イメージセンサーの新たな可能性

ほかにもソニーセミコンが現在、次世代のスマートフォン向けイメージセンサーのために開発したユニークな技術がある。周囲環境の変化やその内容をAIで認知するセンシング技術の「Always ON」だ。省電力駆動を実現し、長時間にわたる常時センシングを可能にする。ソニーセミコンの「LYTIA 500」というフロントカメラ向けイメージセンサーなどに実装されている。

• 

  センシング技術「Always ON」の概要
  出所：ソニーセミコンダクタソリューションズ

このセンサーを搭載するスマートフォンには、電源がスタンバイ状態の間にもわずかな消費電力でフロントカメラを駆動させながら、ユーザーの顔を認識したときにディスプレイを点灯するといった機能を盛り込める。

この技術の特徴はセンサーの中にAIエンジンを搭載していることだ。カメラが常時オンの状態で周囲の画像を記録する使い方はユーザーのプライバシーを守る上でも懸念があることから、センサーは人の顔を認識した「フラグ情報」だけをAPに送る。フラグが立って初めてAPが起動する仕組みとしたことで、高い動作精度を確保しつつ低消費電力な人感センサーとして機能する。

センサーは人の「顔の向き」も判定できるという。たとえばユーザーが「まだスマホの画面見ているときには画面を消さない」といった具合に、アプリケーションの設計に踏み込んだ使い方も考えられると、中田氏は応用の方向性を説く。将来的にはAPが学習したハンドジェスチャーなどの学習データをイメージセンサーに戻して、特定の手の動きに対してスマートフォンがリアクションを返すといった使い方も考えられるという。

イメージセンサーにも活きる、ソニーの技術と画質へのこだわり

ソニーセミコンの大きな「強み」は、バランスがよく総合力の高いカメラシステムに貢献することを見据えながら、スマートフォンのカメラ向けイメージセンサーを長年にわたり開発してきた経験値を持つことだ。

そして、ソニーセミコンにはイメージセンサーの「画質」を専門に見るチームがいるという。センサーのハードウェア開発、信号処理技術の開発、そして品質管理まで社内の各チームと画質の専任チームが連携することで、被写体や撮影シーンの違いによって画質にバラツキが生まれないロバストな「ソニーの高画質」が担保されるのだと、中田氏は胸を張る。

ハイレベルな基礎技術の開発、システム設計、そして画質への飽くことなき探求を「チーム力」によって実現してきた長い歴史を持つことが、ソニーセミコンダクタソリューションズがモバイルイメージセンサー市場で確固たる地位を築き、最先端に立ちながら進化をリードできる理由なのだ。

•