電子の眼・イメージセンサー　ソニーセミコンに聞く先端技術の最前線

イメージセンサーとは、デジタルカメラやスマートフォンのカメラによる写真やビデオの撮影、自動車の先進運転支援システム、工場で稼働する産業機器や監視カメラのデータ取得用途など、私たちの生活や産業のあらゆる場面で「眼」の役割を担う半導体素子だ。デジタル化された視覚情報は感動の瞬間を記録したり、社会インフラの維持から新しい価値創造にまで応用範囲を急速に拡大している。

まず、脚光を浴びるイメージセンサーの基礎と、最先端のトレンド、そして今後の展望に迫りたい。今回は、イメージセンサー市場で世界トップシェアを誇るソニーセミコンダクタソリューションズ(以下、ソニーセミコン)で、シニアデバイスエンジニアとして研究開発の最前線に立つ本庄亮子氏に、イメージセンサーの現状を聞いた。

ソニーセミコンダクタソリューションズで研究開発の最前線に立つ、シニアデバイスエンジニアの本庄亮子氏。両手で持っているのが、同社が手がけるイメージセンサー製品群だ

人間の能力を超える情報解析力をもつ「電子の眼」

私たちの日常生活に最も身近なのはスマートフォンのカメラに搭載されているイメージセンサーだ。本庄氏はイメージセンサーの役割を人間にとって最も重要な感覚器である「眼」にたとえてこう説明する。

「“電子の眼”にもたとえられるイメージセンサーは搭載するデバイスにおいて人間の目の網膜の役割を担う半導体。レンズから入った光を電気信号に変換して、後段の信号処理に送り出して画像を認識する役割を果たしている」(本庄氏)

人間の眼は、角膜と水晶体というレンズを通して入ってきた光を網膜で捉え、視神経を通じて脳に信号を送る。この仕組みと同じように、イメージセンサーもまたレンズが集めた光を電気信号に変換し、画像処理エンジンという「頭脳」に送り届ける。

人間が受け取る外部情報の8割以上は、視覚情報に結びついていると言われているが、イメージセンサーの場合は「見る」ことの他にもさまざまな役割を担いつつある。イメージセンサーは視覚的な情報をデジタルデータに置き換えて記録・伝達するだけでなく、人間の限界を超える情報解析も可能にする。

イメージセンサーの断面の図版。レンズから信号処理回路までの構造を、人間が視覚情報を眼から得て脳に送るプロセスにたとえることができる
出所：ソニーセミコンダクタソリューションズ

イメージセンサーの具体的な構造や、光を電気信号に変える仕組みについて、現在主流となっているCMOS(相補性金属酸化膜半導体)イメージセンサーの技術を基にしながら説明しよう。

イメージセンサーの表面を拡大すると、そこには光の三原色である赤(R)・緑(G)・青(B)のカラーフィルターが規則正しく並んでいる。このひとつひとつが「画素」(ピクセル)と呼ばれるセンサーの最小単位になる。

さらに画素断面にズームインすると、いくつかの層が重なっていることがわかる。上から順に、光を効率よく集めるための「オンチップレンズ」、特定の色だけを透過させる「カラーフィルター」、そしてセンサーの核となる光を電荷(電気の粒)に変換する「フォトダイオード」があり、その電荷を電圧(電気信号)に変換する「アンプトランジスタ」という構成だ。

たとえばピンク色の光がセンサーに入射した場合、ピンクは赤と青の光が混ざった色なので、赤いフィルターを持つ画素は多くの光を通し、青いフィルターを持つ画素はわずかに光を通す。緑のフィルターは光を通さない。

それぞれのフォトダイオードでは透過した光の量に応じた電荷が発生し、それがアンプトランジスタによって「赤3/緑0/青1」(下の図の場合)といったように、比率を分けた電気信号に変換される。この膨大な数の画素から送られてくる信号を束ねることで、最終的にピンク色の画像が再現される。

三原色を分解して、混色によりさまざまな色をつくり出す
出所：ソニーセミコンダクタソリューションズ

イメージセンサーの用途は大きくふたつに分類できる。ひとつはスマートフォンやデジタルカメラ、業務用カメラのように、人間が見て楽しむための「イメージング」の領域だ。そしてもうひとつが車載用カメラや産業用ロボット、監視カメラのように機械やシステムが情報を認識・判定するために使われる「センシング」の領域だ。

最初は「電子の眼」としての役割を担ったイメージセンサーは、今や人間の眼をはるかに超える能力を獲得した。そして「センシング」という新たな価値を確立したのだと本庄氏は語る。

暗い場所をあたかも昼間のように明るく鮮明に見たり、人間には不可視な赤外線などの光を検知する、一瞬の動きをスローモーションのように捉えるといった芸当は、人間の眼ではこなせない。これができるイメージセンサーは自動運転の安全性向上、工場の生産性向上、都市の安全確保など社会課題の解決にも寄与している。

イメージセンサーのトレンド最前線

技術の進化と社会のニーズの変化に伴い、イメージセンサーにはどのような技術革新が求められているのだろうか。本庄氏によると近年、主だった3つのトレンドがあるという。

SNSの普及や通信環境の高速化により、スマートフォンが「動画撮影」に使われることが劇的に増えた。

2024年にソニーグループが開催した事業説明会の中で、ソニーセミコンはエリクソンの調査データに基づく関連資料を公開している。その資料によると、世界のモバイルデータ通信量に占める「動画利用の割合」が年々増加の一途を辿っているそうだ。内訳は動画の撮影と共有、ライブ配信、ライブチャットなど多岐にわたるが、クリエーションだけでなくコミュニケーションの手段としても動画の利用が広がっていることに注目したい。

ソニーセミコンダクタソリューションズが公開した、エリクソンの調査データに基づく資料。モバイルデバイスによる動画コミュニケーションの規模が大きく拡大している
出所：ソニーセミコンダクタソリューションズ

動画が重視される傾向は、イメージセンサーの研究開発において、より厳しい要求を突きつけているのだと本庄氏は話す。

「静止画の場合は複数枚の写真を記録して、これらを合成することで暗い部分と明るい部分のダイナミックレンジを確保できる。信号処理技術を掛け合わせればノイズの低減も図れる。対して動画は連続する静止画像のフレームを映像として記録することから、写真のように合成処理ができない。そのためイメージセンサーの“実力”がよりシビアに問われることになる」(本庄氏)

イメージセンサーの詳細を説明する、ソニーセミコンダクタソリューションズの本庄氏

動画性能に対する要求が高まるほど、特にハイエンドクラスのスマートフォンが搭載されるイメージセンサーの「大判化」(大型化)が進んでいる。センサーのサイズは大きければ大きいほど、ひとつの画素が受けられる光の量と、捉えられる情報量が増える。つまり、イメージセンサーが安定した表現力を獲得することにもなり、低ノイズで美しい写真や動画が記録できるようになる。

かつてはデバイスのフォームファクターやコストの制約から、モバイル機器に搭載できるセンサーのサイズには限りがあるとされてきた。しかし、より高画質な動画体験を求める市場のニーズがその常識をも覆しつつある。特にマルチレンズカメラを搭載するスマートフォンでは、メインの広角カメラだけでなく、ズーム用の望遠カメラや超広角カメラにも大型の高画質センサーを採用する製品が増えた。あらゆる撮影シーンで画質に妥協しないモバイルカメラの開発競争が続いている。

もうひとつの大きなトレンドは「センサーフュージョン」。これは複数種類の異なるセンサーから情報を読み込み、掛け合わせることで単体のセンサーだけでは得られないハイレベルなデータの取得と解析を実現する技術だ。

たとえば、イメージセンサーの通常の二次元データと、画像で変化した部分のみの情報(4次元データ)をひとつのセンサーで取得し、そこにAIによる画像データの補完処理を施すケースが考えられる。

ほかにも自動運転の分野では、CMOSイメージセンサー(カメラ)のほか、LiDAR(光による検知と測距)やミリ波レーダーといった異なる原理のセンサーが併用される。イメージセンサーは物体の形や色を正確に認識することを得意とするが、悪天候下や暗闇ではパフォーマンスが落ちる。

一方、LiDARやミリ波レーダーは天候の影響を受けにくく、対象物までの距離や速度を正確に測定できる。これらセンサーから得られる情報を統合することでシステムの「眼」はより信頼性が向上する。

ソニーセミコンが実現してきた「世界初」の技術

ソニーセミコンダクタソリューションズは長年にわたり、イメージセンサー市場のトップを走り続けている。本庄氏は同社の強みは「世界初」の技術を次々と生み出してきた実績と、それを支えてきた開発・生産体制、そして豊富な経験を持つ人材に他ならないと述べている。

実際にソニーセミコンはイメージセンサーに関する重要な技術革新を遂げてきた。

独自の技術と、それを生み出せる多彩な人材がソニーセミコンダクタソリューションズの大きな強みだ
出所：ソニーセミコンダクタソリューションズ

ひとつは2008年から世界に先駆けて同社が量産化し、デジタルイメージングの画質向上に寄与した「裏面照射型CMOSイメージセンサー」だ。従来は画素の表面にあった配線層を裏面にレイアウトすることで、光をさえぎるものをなくし、受光感度を飛躍的に高めた。ユーザー体験としては、カメラで暗い場所を撮影する時にもノイズの少ない写真・動画の記録が可能になった。

続いて2012年に「積層型CMOSイメージセンサー」が誕生した。従来は同一の平面上に形成されてきた画素部分と信号処理回路部分を、別々の半導体チップとして作り、これらを上下に重ね合わせる技術により、センサーの小型化と信号処理回路の高機能化を両立させたものだ。

そして直近の技術革新が、2015年の「Cu-Cu(カッパー・カッパー)接続」だ。積層型CMOSセンサーをさらに発展させて、画素と回路のウェハ同士を銅(Cu)の端子で直接つなぐ技術だ。従来の接続方法よりも設計の自由度が高まり、さらなる小型化、高性能化、生産性の向上を実現する。とても高度な精密部品の貼り合わせ技術が必要になるが、ここはまさしくソニーセミコンが得意とするところだ。

ソニーセミコンでは半導体製品の企画から設計、開発、量産と評価に至るまでの全工程を一貫して社内で行っている。各領域のエキスパートには高い専門性が求められることから、かつてソニーセミコンでは分業制度を基本としてきた。ところが近年では部門間の垣根を取り払い、より複雑で困難な課題に対して緊密に連携する体制に変わったという。全社一丸となって技術革新に挑むソニーセミコンの環境に、本庄氏も大きな可能性を感じているという。

ソニーセミコンダクタソリューションズのイメージセンサー製品群

AIの時代にイメージセンサーが大きく変わる

イメージセンサーの進化はこれからどこへ向かうのだろうか。本庄氏は「ふたつの方向性が考えられる」と話す。

ひとつは、イメージセンサーが追求してきた高画質・高機能・低消費電力といった基本的な性能をさらに追求することだ。先述の通り、特に動画撮影の性能についても高い性能が求められる傾向は今後もますます強くなる。人間の感性により強く訴えかけるデジタルイメージングの技術革新にはゴールがない。

もうひとつは、AI(人工知能)との融合によるまったく新しい変化だ。イメージセンサーが捉えた膨大な視覚情報をAIがリアルタイムに解析・処理することで、画像から得られるデータの価値は大きく広がり、様変わりする可能性もある。

ソニーセミコンは2020年に、AI処理機能を搭載するインテリジェントビジョンセンサー「IMX500」を商品化した。イメージセンサーにAI処理機能を搭載することで、クラウドに送るデータ量を削減し、低遅延、低消費電力、そしてプライバシー保護を合わせて実現する画期的な製品だ。こうしたエッジAI技術の進化はスマートシティ、スマートリテール、ファクトリーオートメーションなどさまざまな分野に新たな用途を生み出すことが期待されている。

人間の眼をデジタルの世界で再現することを目指したイメージセンサーは、今や人間の眼を超え、そしてAIというデジタルの頭脳と結びつくことで新しい価値あるデータを生み出そうとしている。その中には医療分野、あるいは気象予報など大きな社会課題の解決に結びつく研究開発に活かせるものも数多くあるはずだ。

次回はイメージセンサーを活用するデバイスやアプリケーションの現状にも踏み込んでみたい。