「Snapdragon Summit」は、米半導体大手のクアルコムが毎年ハワイで開催している、次世代のコンシューマ向けデバイスのSoCとその活用例を紹介するイベントだ。

2026年のSnapdragon Summitでは、スマートフォン向けの新しいSoC「Snapdragon 8 Elite Gen 6」と、「Snapdragon 8 Elite Extreme Gen 6」が発表された。ふたつのSoCは、これからさらにAIエージェントが活用される時代を見据えて、オンデバイスでのAI処理を担うHexagon NPUを強化した2nm世代のチップだ。

このNPUはAIエージェントだけでなく、撮影時の画像処理にも寄与する。イメージセンサーから届いた信号を処理する「Spectra ISP」と連携し、被写体やシーンに合わせて画質を調整する役割を担っている。

  • 今回インタビューした、Qualcomm TechnologiesのManagement, Multimedia Product VPのジャッド・ヒープ氏

    今回インタビューした、Qualcomm TechnologiesのManagement, Multimedia Product VPのジャッド・ヒープ氏

2025年秋、筆者はクアルコムでイメージング技術を統括するジャッド・ヒープ氏に、ISPとNPUの間でRAWデータを柔軟にやり取りできるアーキテクチャの具体を取材している。あれから約1年、そのアーキテクチャは実際の画質改善にどのように結びついたのか。ハワイで再びヒープ氏に聞いた。

関連記事

ノイズ低減処理をセンサー直下の「RAW領域」へ移行させた理由

最新チップ「Snapdragon 8 Elite Gen 6の」、各SoCに搭載されるSpectra ISPの進化をひも解く手掛かりは「画像処理の順序」にある。

2025年秋にクアルコムが発表したSnapdragon 8 Elite Gen 5では、ISP内部のHDR処理が20bitへ拡張された。今回のSnapdragon 8 Elite Gen 6では、この20bit HDRパイプラインを継承しつつ、ノイズ低減パイプラインに大きなメスが入った。従来YUV領域で処理されることが多かった時間方向(フレーム間)のノイズ低減を、イメージセンサー出力直後のベイヤーRAW領域へと移行させた点だ。

  • Snapdragon 8 Elite Gen 6のSoCも、20bit HDR処理に対応するアーキテクチャを継承した

    Snapdragon 8 Elite Gen 6のSoCも、20bit HDR処理に対応するアーキテクチャを継承した

処理の段階をセンサー直下の領域に移した意図について、ヒープ氏は次のように説明する。

「イメージセンサーに近い段階で処理を行うほど、各種のデータ変換や変更が加わる前のデータを扱えるため、結果として高い画質が得られると考えています」(ヒープ氏)

空間方向のノイズ低減に続き、今回は時間方向のノイズ低減もRAW領域へと移行させたかたちだ。時間方向のノイズ低減は、前後のフレームを参照してノイズを打ち消す処理だが、被写体やカメラ本体が動いている場合、単純なフレーム合成では輪郭の破綻や残像(ゴースト)の発生を招いてしまう。これを解決するためには、RAW段階での正確な動き検出が欠かせない。動画の手ブレ補正などで培われてきた同社の動き解析技術が、RAW領域での高度な時間ノイズ低減を支えている。

演算能力の引き上げだけでなく、各画像処理をパイプラインのどの段階で行うか? という設計を再定義したことが、暗所や動体撮影時におけるさらなる描写力の向上に寄与している。

複眼カメラの即応性を高める――スループット向上と電力最適化の両立

Snapdragon 8 Elite Gen 6のSpectra ISPは、最大64MPのカメラ3基で同時にゼロシャッターラグ撮影を扱える。前世代での公称値は最大48MP×3基だった。

これは、常に64MPの静止画を3枚同時に記録し続けるという意味ではない。複数のカメラを準備状態に保ちながら、シャッター操作に対してきわめて迅速に応答できる処理能力を示す。

  • 静止画パイプラインにおいて、最大64メガピクセルのイメージセンサー3基をすべて同時に用いた「ゼロシャッターラグ」(ZSL)撮影に対応した

    静止画パイプラインにおいて、最大64メガピクセルのイメージセンサー3基をすべて同時に用いた「ゼロシャッターラグ」(ZSL)撮影に対応した

「3基のカメラがスタンバイしている状態でも、シャッターを押した際のレイテンシーを低く抑えられます。指でピンチ操作をしてカメラ間をズームで切り替える際の遅延も大幅に軽減されます」とヒープ氏は語る。

実際にはメインカメラを動かしつつ他の2基をレディ状態に待機させ、シームレスに切り替えているという。CPU上で動く3A制御ソフトとISPが連携するほか、物理的な配置のずれから生じる画像のアライメント(位置合わせ)には、スケーラーやローテーターといった専用ハードウェアが用いられている。

スループットを高めるだけであれば、ゲート数を増やして並列化したりクロックや電圧を引き上げたりすれば対応できるが、それでは消費電力の増大を招く。ヒープ氏は、Snapdragon 8 Elite Gen 6において、カメラシステム全体の消費電力を徹底して削減できたことが、より高速な動画撮影の実現につながったと説明する。

最上位のSnapdragon 8 Elite Extreme Gen 6は最大8K/60fps、4K/240fpsに対応し、標準のSnapdragon 8 Elite Gen 6は最大8K/30fps、4K/120fpsとなる。それぞれ撮影速度や対応コーデックに差はあるものの、ISPとNPUの連携による画質最適化の思想は、基本的に共通だ。高画素センサーを何基搭載し、どのように待機・切り替えさせるかは各端末メーカーの設計に委ねられており、チップのスペック上限がそのまま市販端末のカメラ仕様になるわけではない。

Intelligent Pixel Controlの進化――被写体属性の識別と精密な色調整

その連携の進化を象徴するのが「Intelligent Pixel Control」だ。

NPUが被写体の顔や髪、背景の空などの領域を識別し、ISPが領域ごとに最適な画像処理を適用するセマンティック・セグメンテーション自体は従来から備わっていた。今回の世代では、NPUとISPの間でセグメンテーション情報を受け渡すインターフェースが8bitから16bitへと倍増されている。

  • Snapdragon 8シリーズが受け継いできたセマンティック・セグメンテーションの精度を、NPUとの連携を深めることでさらに向上。Intelligent Pixel Controlとして8 Elite Gen 6に搭載した

    Snapdragon 8シリーズが受け継いできたセマンティック・セグメンテーションの精度を、NPUとの連携を深めることでさらに向上。Intelligent Pixel Controlとして8 Elite Gen 6に搭載した

ヒープ氏によれば、従来は5bit分(最大32分類)を用いて空や顔といった大まかな領域を伝えていたが、16bitへの拡張によって扱える情報量が飛躍的に増加したという。これにより、画面内の複数の人物(たとえば人物A、B、Cのように)を個別に識別したり、フレームアウトした人物が再び戻ったときに同一人物として認識し追従したりすることが可能になる。さらには、推定された年齢や性別といった詳細な属性データを受け渡し、個別により適した画質調整を施すこともできる。

認識精度が高度化するほどプライバシーへの配慮も欠かせなくなるのだろうか。ヒープ氏は、この機能が特定の個人名を照合するようなデータベースを用いる仕組みではないと明言する。そのうえで、拡張されたメタデータを実際の画質チューニングにどう活用するかは、端末メーカー側の設計や実装に委ねられている、と説明した。

一方で、色再現を司る新機能「Elite Color Engine」の3D LUT(ルックアップテーブル)は、こうしたAIによる領域認識とは完全に切り離されている。

ヒープ氏は「3D LUTは純粋な色変換のための機構であり、セグメンテーション処理は行いません。従来の2Dマトリクス演算と異なり、入力色と出力色を自在に対応付けられるため、特定の色域(青や緑の階調など)のみを精密に追い込むことができます」と解説する。たとえば肌色の自然さを保ったまま、空の青みだけを鮮やかに補正するといった色づくりが容易になる。

3D LUTは端末メーカーのエンジニアが独自のカラーチューニングを反映させるための調整ツールであり、NPUが被写体を認識して領域ごとに処理を分けるアプローチとは明確にすみ分けられている。

C2PA Level 2の継承。EVS研究に見るSpectra ISPの将来展望

画像を美しく仕上げる技術が進むほど、その画像がどこから来たのかという「真正性・来歴」の重要性も高まる。

ヒープ氏によれば、前世代のSnapdragon 8 Elite Gen 5搭載機は、写真の真正性を証明する規格「C2PA」のLevel 2適合を達成している。署名や暗号化の処理を高レベルOS任せにせず、ハードウェアレベルで保護することで改ざんや偽の署名生成を防ぐ堅牢性を確保しているという。

  • Snapdragon 8 Elite Gen 5でC2PAのLevel 2適合を、SoCを搭載する最終商品が達成した。Gen 6でも同等のレベルが確保できるだろう、とヒープ氏は自信を見せた

    Snapdragon 8 Elite Gen 5でC2PAのLevel 2適合を、SoCを搭載する最終商品が達成した。Gen 6でも同等のレベルが確保できるだろう、とヒープ氏は自信を見せた

同等の実装は、Snapdragon 8 Elite Gen 6にも引き継がれており、Level 2適合を見込んでいるが、対応する端末の登場や来歴情報の見せ方は各メーカーの製品化に委ねられる。

Spectra ISPの活躍の場はスマートフォンにとどまらない。ヒープ氏が率いるISPチームはモバイル、PC、XR、IoT、自動車向けの画像処理技術を、クアルコムのビジネスカテゴリを横断する形で手掛けている。

ただし、画一的なチップを全カテゴリに流用するわけではない。「アクションカメラでは大型センサーへの対応、きわめて高い画質、優れた手ブレ補正が求められます。一方、スマートグラスでは画質を一定水準に保ちつつも、バッテリー持続時間が最優先されます。当社では共通の基本設計を持ちながら、用途ごとの要件に合わせて最適化した複数のバリエーション(フレーバー)を用意しています」とヒープ氏は語る。「記録するためのカメラ」と「周囲を把握し続ける機器」とでは、電力と画質のトレードオフの置き所が異なるためだ。

  • AIスマホのためのSoCとしてグレードアップを図ったSnapdragon 8 Elite Gen 6。ISPの可能性もさらに拡大している

    AIスマホのためのSoCとしてグレードアップを図ったSnapdragon 8 Elite Gen 6。ISPの可能性もさらに拡大している

2025年のインタビューの際、ヒープ氏がその将来性に注目する技術として挙げた「イベントベースビジョンセンサー」(EVS)の、クアルコムにおける取り組みについても確認した。

EVSは一定時間ごとに全画素を一括読み出しするのではなく、被写体における輝度変化が生じた画素の情報だけを非同期に出力する仕組みを持つ。RGBセンサーと組み合わせることで動体ブレを抑えたり、RGB側の駆動頻度を落として大幅な省電力化を図れる。

ヒープ氏は、RGBセンサーを2fpsなどの低消費電力で動かしつつ、EVSを1,000fpsで駆動させて両方のデータを合成し、滑らかな60fps映像を得るような研究例を挙げた。

ただし、これらはまだ技術的可能性を探る実験段階にある。ソニーセミコンダクターソリューションズなどのパートナーと共同研究を進めているとしつつも、ヒープ氏は「現時点では商用製品への採用には至っていない」と明確に答えた。EVSは産業向けロボティクスや製造現場での活用が先行して有望視されている技術でもあることから、クアルコムによる次の一手は見逃せない。

ヒープ氏は、現在トレンドとなっているエージェンティックAI(自律型AI)を除けば、NPUにとって最大の活用領域はカメラであると強調する。超解像や夜間動画の処理など、多くのパートナー企業がNPUを活用した高度なパイプライン拡張を行っているという。

今回の取材から浮き彫りになったのは、ISP単体のカタログスペックを競う段階を超え、センサーからISP、NPU、そしてシステム全体の電力管理に至るまで、一体で最適化していくクアルコムの開発姿勢だ。同社は常に、手元で高品位な写真を残すスマートフォンと、低消費電力で空間の変化を捉え続けるウェアラブルやロボティクスの両方を視野に入れている。同じ画像処理の系譜からどのような新しい体験が生み出されていくのか、今後の動向に引き続き注目したい。

山本敦

著者 : 山本敦

やまもとあつし

ジャーナリスト兼ライター。オーディオ・ビジュアル専門誌のWeb編集・記者職を経てフリーに。独ベルリンで開催されるエレクトロニクスショー「IFA」を毎年取材してきたことから、特に欧州のスマート家電やIoT関連の最新事情に精通。オーディオ・ビジュアル分野にも造詣が深く、ハイレゾから音楽配信、4KやVODまで幅広くカバー。堪能な英語と仏語を生かし、国内から海外までイベントの取材、開発者へのインタビューを数多くこなす。

この著者の記事一覧はこちら