AI活用からソニーとの協業まで。クアルコム ISP開発責任者に聞く、画像処理の最新動向

2025年秋、米半導体大手のクアルコムはスマートフォンなどモバイル向けの「Snapdragon 8 Elite Gen 5」と、PC向けの「Snapdragon X2 Elite」というふたつの次世代SoC(システムオンチップ)を発表した。どちらのチップセットも、デバイスによるカメラ体験の中核を担う最新の画像信号処理プロセッサ(ISP：Image Sensing Processor)である「Spectra ISP」を搭載している。

AIによる画像処理を併用するコンピュテーショナルフォトグラフィが全盛を迎えた現在、ISPには従来とは異なる機能と性能が求められている。クアルコム本社でモバイルからPC、AR/XR、オートモーティブに至るまで、同社によるすべてのイメージングIP開発を水平的に統括するジャッド・ヒープ(Judd Heape)氏に、最新のISPアーキテクチャ、AIとの関係、そしてソニーセミコンダクターソリューションズとのジョイントラボの進捗、さらに今後のトレンドについてインタビューした。

クアルコムテクノロジーズ(Qualcomm Technologies) Camera Computer Vision ＆ Video & Audioのプロダクトマネージメント部門バイスプレジデントである、ジャッド・ヒープ(Judd Heape)氏にインタビューした

AIがスマホの写真画質をリアルタイム調整する仕組み

“AI時代のISP”は単独で動作するのではなく、SoCに統合されているNPUブロックと緊密に連携する。その典型的な機能がセマンティックセグメンテーションだ。

クアルコムは2022年11月に発表したモバイル向けSoCの「Snapdragon 8 Gen 2」から、ISPによる画素処理と並行して、NPUが機械学習(AI)ニューラルネットワークによって人物の顔や髪、衣服、背景の空などをリアルタイムに判別し、それぞれのセグメント(領域)ごとに最適な画像処理を施すアーキテクチャを導入した。これにより、AIが撮影時の文脈に合わせてダイナミックに画質を調整できるようになった。

静止画を複数のセマンティックセグメント(意味領域)に分割して、それぞれに最適な画像処理をかける「Semantic Segmentation」のイメージ。クアルコムが2024年に開催した、Snapdragon 8 Elite Gen 4の発表会取材時に撮影

「NPUは各フレームから画素単位の領域マップを生成し、ラベル情報としてISPに提供します。ISPはこの領域ごとのラベル情報に応じてシャープネス、ノイズリダクション、カラー、ディテール補正など複数の画質パラメータをリアルタイムに可変させます。衣服や髪など細部の質感が重要な領域にはディテール強調を施し、空のようにスムーズさが求められる領域にはノイズリダクションを強めるなど領域別の最適化を行います」(ヒープ氏)

最新のSnapdragon 8 Elite Gen 5では認識できるセグメントがさらに拡大し、「Food/食べ物」や「Foliage/集まった状態の葉」なども加えた。ISPは画像信号を処理するだけでなく、NPUというSoCの頭脳と連携しながら各シーンを正確に分類し、ピクセル単位で最適な処理を施すインテリジェントなブロックに進化している。

通常、こういったAI処理は大きな計算能力と電力を必要とする。しかしヒープ氏は「AI処理の消費電力を下げることができれば、そのぶん画質も上げられる」と説く。ISPとNPUのあいだで、なるべくデータをDRAMへ往復させないアーキテクチャとして、処理効率と電力効率を高めることが今後の鍵になると述べた。

その写真・動画は“本物”か? C2PA対応拡大への取り組み

生成AIが普及する一方、デジタル写真・ビデオの真正性をどのように担保するかITデジタル業界の各界隈で重要な課題になっている。クアルコムはC2PA(Coalition for Content Provenance and Authenticity)の標準規格による、コンテンツクレデンシャル(コンテンツの来歴を証明する技術)の推進にも力を入れている。

Snapdragon 8 Elite Gen 5では、C2PAのコンテンツクレデンシャルへの対応がアーキテクチャレベルで大きく前に進んだ。

クアルコムは2021年に、デジタル写真・ビデオのコンテンツ認証を専門とするテクノロジー企業・Truepicに出資している。これまでスマートフォンのメーカーなど、OEMパートナーがデバイスにコンテンツクレデンシャル技術を導入する場合、クアルコムと認証技術を持つTruepicの両方と協業する必要があった。

最新世代のGen 5では、Truepicの技術をチップセットのコードベースに統合しており、OEMパートナーはクアルコムとのみ協議するだけでよくなるため、搭載に向けたプロセスが大幅に簡略化されるという。

Truepicとの連携を高めたことでC2PAのコンテンツクレデンシャルをSnapdragon搭載デバイスに実装しやすくなる

C2PAのコンテンツクレデンシャルの技術に対応するスマートフォンとしては、2025年11月時点で、サムスンの「Galaxy S25」シリーズや、グーグルの「Pixel 10」シリーズ(10 Proシリーズを含む)がある。ヒープ氏は、「これからSnapdragon 8 Elite Gen 5を採用するデバイスに、C2PAのコンテンツクレデンシャル対応が広がることを期待したい」と語る。

クアルコム×ソニー、イメージング協業の現在地

クアルコムは2021年からソニーセミコンダクターソリューションズ(以下：ソニー)と、イメージング技術に関するジョイントラボを設立し、緊密な協業体制を敷いている。ヒープ氏も、そのジョイントラボの中核で活躍する人物だ。

「ソニーの提案によるHDの高性能ゲイン制御技術や、MLベースのリモザイク処理など、新しい技術に対して両社がノウハウを持ち寄りながら共同で開発を行っています」

ジョイントラボが設立された当初は、両社の組織を有機的に結び付けるため、ロードマップのすり合わせからスタートしたという。その後は新技術の開発にも深く関わる協力体制が築かれ、これまでに具体的な成果もある。

たとえばスマートフォンが搭載する複数のカメラを切り替える際、消費電力を劇的に下げる「MCSS」(Multi-Camera Camera Switching)は、両社のジョイントラボから生まれている。

「3つのカメラのうちひとつを使用している間、残りのふたつは待機状態にして、低フレームレート・超低消費電力で動かします。カメラを切り替える際にとてもスムーズに切り替えられます。私たちはこの仕組みをソニーと共同で開発し、サポートしています」

ソニーとのジョイントラボの進捗について語るヒープ氏

ジョイントラボにおける両社の協業は、次のステップに進んでいるという。

「これまではデジタルイメージングに関わる機能の協業でした。これからはシステムレベルにまで深化します。たとえばイメージセンサー側の処理とISP側のアルゴリズムを、どこに置けば最も効率が良くなるのかを議論・検討する段階に踏み込んでいます。電力効率の観点からも重要な課題です。センサーは40nmプロセスで、ISPは2nmといった具合に、今後はそれぞれのプロセス世代が大きく異なる場合も考えられます。それならば重い処理をISP側にオフロードするほうが合理的かもしれません」

ヒープ氏によると、両社が協業する領域もさらに拡大しているという。

「主な協業領域はモバイルですが、オートモーティブの分野にも拡大しています。私たちは現在、四半期ごとの定例ミーティングを行っています。中心になるテーマはモバイルと自動車であり、このふたつの事業領域がジョイントラボの取り組みとしても大きな比重を占めています。ビジネスの観点から見れば、特にオートモーティブでの協業が深まっているといえるかもしれません。たとえばダイナミックレンジをさらに向上させる技術、ISPとイメージセンサーを密接に連携させる設計、あるいは自動車向けインターフェースについての検討など、現在ソニーと一緒に幅広いテーマに取り組んでいます」

高画素化・HDRの次に来るのは「ハイブリッドEVS」

インタビューの最後に「イメージセンシングのトレンド」に関わるヒープ氏の見解を聞いた。ヒープ氏は従来のRGBセンサーとは根本的に異なるアプローチに期待を寄せている。

「高画素化、そしてHDRの次にくるトレンドとして、私はRGBの映像情報とイベントベースビジョンセンサー(EVS)の情報を組み合わせる『ハイブリッドEVS』の技術に期待しています。まだモバイル機器には採用されていませんが、必ず訪れるだろうと確信しています」

従来のイメージセンサーは一定のフレームレートに合わせて画素を順次読み出す方式で動作するのに対し、イベントベースビジョンセンサーは輝度が変化した画素だけを非同期にイベントとして出力する。このイベント情報を従来のRGBフレームと組み合わせることで、露光時間が長くてもフレーム間の動きを補間でき、物理的な画素高速読み出しに依存しない新しい映像表現が可能になる。これにより滑らかな動画やスーパースロー映像の生成への応用も期待される。ソニーは既に産業用途向けにEVS技術を搭載した製品を展開している。

「私たちも、いずれイベントベースのピクセルを取り扱えるように備えています。つまり、従来のピクセルパイプラインを介さずに、イベントピクセルの情報をCPUやNPUに直接送り、そこで処理するのです。現状、イベントベースのピクセルは主にモーション(動き)を理解するために使われています。これらの情報をISPの外側でも処理できるように、クアルコムのチップセットはアーキテクチャを柔軟に設計しています。そのため、通常のピクセルデータとは別経路に分岐させることも可能です」

ヒープ氏のインタビューからは、SnapdragonのSpectra ISPがAIとの緊密な連携を前提に、SoC全体を統合する“インテリジェントな要”になりつつある姿が浮かび上がった。この進化はスマートフォンを超えて、今後もPC、AR/XR、IoTといったクアルコムの幅広い事業領域に広がっていくだろう。