AI活用からソニーとの協業まで。クアルコム ISP開発責任者に聞く、画像処理の最新動向

2025年秋、米半導体大手のクアルコムはスマートフォンなどモバイル向けの「Snapdragon 8 Elite Gen 5」と、PC向けの「Snapdragon X2 Elite」というふたつの次世代SoC(システムオンチップ)を発表した。どちらのチップセットも、デバイスによるカメラ体験の中核を担う最新の画像信号処理プロセッサ(ISP：Image Sensing Processor)である「Spectra ISP」を搭載している。

AIによる画像処理を併用するコンピュテーショナルフォトグラフィが全盛を迎えた現在、ISPには従来とは異なる機能と性能が求められている。クアルコム本社でモバイルからPC、AR/XR、オートモーティブに至るまで、同社によるすべてのイメージングIP開発を水平的に統括するジャッド・ヒープ(Judd Heape)氏に、最新のISPアーキテクチャ、AIとの関係、そしてソニーセミコンダクターソリューションズとのジョイントラボの進捗、さらに今後のトレンドについてインタビューした。

• 

  クアルコム テクノロジーズ(Qualcomm Technologies) Camera Computer Vision ＆ Video & Audioのプロダクトマネージメント部門バイスプレジデントである、ジャッド・ヒープ(Judd Heape)氏にインタビューした

最新Spectra ISPの強みは「パイプラインの柔軟性」

最新のSpectra ISPは、前世代の「Snapdragon 8 Elite Gen 4」に施した大幅なアーキテクチャ変更を継承・発展させている。ヒープ氏が「最大の革新」と語るのは、ISPのパイプラインの柔軟性を高めたことだ。

「パイプラインを分割し、より早い段階でDRAMなどのメモリにアクセスできるようにしました。これによりGPUやCPU、そして機械学習処理を担うNPU(Neural Processing Unit)とRAWの領域でデータ交換ができるようになりました」(ヒープ氏、以下同)

• 

  最新のSpectra ISPを統合する「Snapdragon 8 Elite Gen 5」が2025年秋に発表された

従来のISPは、イメージセンサーから受け取った生の画像信号(＝RAWデータ)に、内部の固定パイプラインでノイズリダクション、デモザイク、カラーマトリックス処理やガンマ補正などを行った後、最終的に圧縮処理されたYUV形式のピクセルデータを外部ブロックに共有する、というフローが一般的だった。

ちなみにYUVとは、スマートフォンやカメラの画像処理パイプライン(ISP)内で扱われる色空間フォーマットの一種で、輝度(Y)と青色の差(U)、赤色の差(V)の3成分で画像を表現するものだ。

人間の目は輝度の変化に敏感である一方、色の変化には比較的鈍感であることから、色差情報(U・V)の解像度を輝度(Y)よりも低くすることで、データ量を効率的に圧縮できる。Snapdragonのチップセットは、パイプライン内部の処理段階では一般的な 4:2:0に加えて、より多くの色情報を保持するYUV 4:2:2形式にも対応している。

RAW(ロー)とはイメージセンサーが捉えた光の情報を、デモザイク処理やノイズリダクションなどのISP処理を行う前の状態で保持した生の画像信号データのこと。1画素あたりひとつの色成分しか持たないベイヤー配列のまま記録されるため、一般的なYUVデータよりも格段に情報量に富み、後処理の自由度も高い。

AIによる画像処理が主流になり、スマホやカメラなどのハードウェアをつくるデバイスメーカーやソフトウェアのベンダーからは、ISPによって処理が加えられたYUVデータよりも、情報量が多く制御しやすいRAWデータを直接扱いたいというニーズが多く寄せられるようになっていたという。

「特にスマートフォンのカメラのAI処理が、写真だけでなくビデオにも拡大するにつれ、開発者がより多くの制御を行えるRAWデータ処理への期待が高まってきた」とヒープ氏は振り返る。

新しいSpectra ISPのアーキテクチャでは、イメージセンサーから送られる画像信号に対して、ISPが欠陥ピクセルの補正など最小限の処理を施した直後、NPUに送り出す。その後さまざまなAIモデルが適用された後のデータが再びISPに戻され、残りのYUVドメインでの処理に引き継ぐ。柔軟なデータの取り回しが可能になったわけだ。

ヒープ氏は、このパイプラインの柔軟性は、クアルコムのSnapdragonが競合に対する明確な強みとして打ち出せると話す。

「ISPのどの段階からでも、あるいは画像信号の種類がRAWであれYUVであれ、SoC内部のCPU、GPU、NPUのいずれのブロックともデータが交換できる。これはSnapdaraonならではの強みであると言えます」

もうひとつの大きな進化は、HDR(ハイダイナミックレンジ)性能の向上だ。近年のイメージセンサーはStaggered HDRやDCG(Dual Conversion Gain)といった、明部と暗部の情報をより広いレンジで取得するための新技術が登場したことで、複数の露光やゲインを組み合わせた合成HDRにより、16bitから18bitクラスに相当する実効ダイナミックレンジを表現できるようになった。

クアルコムは最新のSnapdragon 8 Elite Gen 5において、ISP内部の処理パイプラインを従来の18bitから20bitへ拡張した。これにより、HDR合成時に保持できる内部階調精度が約4倍になり、センサーが捉えた微細な光の変化をよりていねいに処理できる。結果として階調の滑らかさが増し、低ノイズかつ自然なHDR画質が得られる。

• 

  ISP内部の処理パイプラインを従来の18bitから20bitに拡張したことで、HDR合成時に保持できる内部階調精度が約4倍になる

ヒープ氏は「これまでのデジタルイメージングは画素数の競争が中心でしたが、その競争も現在は最大200MP(メガピクセル)でひと段落したように見えます。これからは、HDR画質を左右する“ビット数”が新たな競争軸になるでしょう。今後数年の間にはより高度なHDR技術が次々に登場してくるはず」と述べ、Gen 5の20bitのパイプラインが次世代のHDR画質競争の先頭集団を走る技術になると主張した。

AIがスマホの写真画質をリアルタイム調整する仕組み

“AI時代のISP”は単独で動作するのではなく、SoCに統合されているNPUブロックと緊密に連携する。その典型的な機能がセマンティックセグメンテーションだ。

クアルコムは2022年11月に発表したモバイル向けSoCの「Snapdragon 8 Gen 2」から、ISPによる画素処理と並行して、NPUが機械学習(AI)ニューラルネットワークによって人物の顔や髪、衣服、背景の空などをリアルタイムに判別し、それぞれのセグメント(領域)ごとに最適な画像処理を施すアーキテクチャを導入した。これにより、AIが撮影時の文脈に合わせてダイナミックに画質を調整できるようになった。

• 

  静止画を複数のセマンティックセグメント(意味領域)に分割して、それぞれに最適な画像処理をかける「Semantic Segmentation」のイメージ。クアルコムが2024年に開催した、Snapdragon 8 Elite Gen 4の発表会取材時に撮影

「NPUは各フレームから画素単位の領域マップを生成し、ラベル情報としてISPに提供します。ISPはこの領域ごとのラベル情報に応じてシャープネス、ノイズリダクション、カラー、ディテール補正など複数の画質パラメータをリアルタイムに可変させます。衣服や髪など細部の質感が重要な領域にはディテール強調を施し、空のようにスムーズさが求められる領域にはノイズリダクションを強めるなど領域別の最適化を行います」(ヒープ氏)

最新のSnapdragon 8 Elite Gen 5では認識できるセグメントがさらに拡大し、「Food/食べ物」や「Foliage/集まった状態の葉」なども加えた。ISPは画像信号を処理するだけでなく、NPUというSoCの頭脳と連携しながら各シーンを正確に分類し、ピクセル単位で最適な処理を施すインテリジェントなブロックに進化している。

通常、こういったAI処理は大きな計算能力と電力を必要とする。しかしヒープ氏は「AI処理の消費電力を下げることができれば、そのぶん画質も上げられる」と説く。ISPとNPUのあいだで、なるべくデータをDRAMへ往復させないアーキテクチャとして、処理効率と電力効率を高めることが今後の鍵になると述べた。

その写真・動画は“本物”か? C2PA対応拡大への取り組み

生成AIが普及する一方、デジタル写真・ビデオの真正性をどのように担保するかITデジタル業界の各界隈で重要な課題になっている。クアルコムはC2PA(Coalition for Content Provenance and Authenticity)の標準規格による、コンテンツクレデンシャル(コンテンツの来歴を証明する技術)の推進にも力を入れている。

Snapdragon 8 Elite Gen 5では、C2PAのコンテンツクレデンシャルへの対応がアーキテクチャレベルで大きく前に進んだ。

クアルコムは2021年に、デジタル写真・ビデオのコンテンツ認証を専門とするテクノロジー企業・Truepicに出資している。これまでスマートフォンのメーカーなど、OEMパートナーがデバイスにコンテンツクレデンシャル技術を導入する場合、クアルコムと認証技術を持つTruepicの両方と協業する必要があった。

最新世代のGen 5では、Truepicの技術をチップセットのコードベースに統合しており、OEMパートナーはクアルコムとのみ協議するだけでよくなるため、搭載に向けたプロセスが大幅に簡略化されるという。

• 

  Truepicとの連携を高めたことでC2PAのコンテンツクレデンシャルをSnapdragon搭載デバイスに実装しやすくなる

C2PAのコンテンツクレデンシャルの技術に対応するスマートフォンとしては、2025年11月時点で、サムスンの「Galaxy S25」シリーズや、グーグルの「Pixel 10」シリーズ(10 Proシリーズを含む)がある。ヒープ氏は、「これからSnapdragon 8 Elite Gen 5を採用するデバイスに、C2PAのコンテンツクレデンシャル対応が広がることを期待したい」と語る。

クアルコム×ソニー、イメージング協業の現在地

クアルコムは2021年からソニーセミコンダクターソリューションズ(以下：ソニー)と、イメージング技術に関するジョイントラボを設立し、緊密な協業体制を敷いている。ヒープ氏も、そのジョイントラボの中核で活躍する人物だ。

「ソニーの提案によるHDの高性能ゲイン制御技術や、MLベースのリモザイク処理など、新しい技術に対して両社がノウハウを持ち寄りながら共同で開発を行っています」

ジョイントラボが設立された当初は、両社の組織を有機的に結び付けるため、ロードマップのすり合わせからスタートしたという。その後は新技術の開発にも深く関わる協力体制が築かれ、これまでに具体的な成果もある。

たとえばスマートフォンが搭載する複数のカメラを切り替える際、消費電力を劇的に下げる「MCSS」(Multi-Camera Camera Switching)は、両社のジョイントラボから生まれている。

「3つのカメラのうちひとつを使用している間、残りのふたつは待機状態にして、低フレームレート・超低消費電力で動かします。カメラを切り替える際にとてもスムーズに切り替えられます。私たちはこの仕組みをソニーと共同で開発し、サポートしています」

• 

  ソニーとのジョイントラボの進捗について語るヒープ氏

ジョイントラボにおける両社の協業は、次のステップに進んでいるという。

「これまではデジタルイメージングに関わる機能の協業でした。これからはシステムレベルにまで深化します。たとえばイメージセンサー側の処理とISP側のアルゴリズムを、どこに置けば最も効率が良くなるのかを議論・検討する段階に踏み込んでいます。電力効率の観点からも重要な課題です。センサーは40nmプロセスで、ISPは2nmといった具合に、今後はそれぞれのプロセス世代が大きく異なる場合も考えられます。それならば重い処理をISP側にオフロードするほうが合理的かもしれません」

ヒープ氏によると、両社が協業する領域もさらに拡大しているという。

「主な協業領域はモバイルですが、オートモーティブの分野にも拡大しています。私たちは現在、四半期ごとの定例ミーティングを行っています。中心になるテーマはモバイルと自動車であり、このふたつの事業領域がジョイントラボの取り組みとしても大きな比重を占めています。ビジネスの観点から見れば、特にオートモーティブでの協業が深まっているといえるかもしれません。たとえばダイナミックレンジをさらに向上させる技術、ISPとイメージセンサーを密接に連携させる設計、あるいは自動車向けインターフェースについての検討など、現在ソニーと一緒に幅広いテーマに取り組んでいます」

高画素化・HDRの次に来るのは「ハイブリッドEVS」

インタビューの最後に「イメージセンシングのトレンド」に関わるヒープ氏の見解を聞いた。ヒープ氏は従来のRGBセンサーとは根本的に異なるアプローチに期待を寄せている。

「高画素化、そしてHDRの次にくるトレンドとして、私はRGBの映像情報とイベントベースビジョンセンサー(EVS)の情報を組み合わせる『ハイブリッドEVS』の技術に期待しています。まだモバイル機器には採用されていませんが、必ず訪れるだろうと確信しています」

従来のイメージセンサーは一定のフレームレートに合わせて画素を順次読み出す方式で動作するのに対し、イベントベースビジョンセンサーは輝度が変化した画素だけを非同期にイベントとして出力する。このイベント情報を従来のRGBフレームと組み合わせることで、露光時間が長くてもフレーム間の動きを補間でき、物理的な画素高速読み出しに依存しない新しい映像表現が可能になる。これにより滑らかな動画やスーパースロー映像の生成への応用も期待される。ソニーは既に産業用途向けにEVS技術を搭載した製品を展開している。

「私たちも、いずれイベントベースのピクセルを取り扱えるように備えています。つまり、従来のピクセルパイプラインを介さずに、イベントピクセルの情報をCPUやNPUに直接送り、そこで処理するのです。現状、イベントベースのピクセルは主にモーション(動き)を理解するために使われています。これらの情報をISPの外側でも処理できるように、クアルコムのチップセットはアーキテクチャを柔軟に設計しています。そのため、通常のピクセルデータとは別経路に分岐させることも可能です」

ヒープ氏のインタビューからは、SnapdragonのSpectra ISPがAIとの緊密な連携を前提に、SoC全体を統合する“インテリジェントな要”になりつつある姿が浮かび上がった。この進化はスマートフォンを超えて、今後もPC、AR/XR、IoTといったクアルコムの幅広い事業領域に広がっていくだろう。