ビジュアルインテリジェンスとは、iOS 18.4で導入されたAI活用型の画像検索機能です。カメラで写した被写体の名称や働き、由来などを体系的に知りたいときに役立ちます。Apple Intelligenceに対応したiPhone 15 Pro/Pro MaxおよびiPhone 16シリーズで利用できます。
ビジュアルインテリジェンスは、iPhone 16シリーズでは本体右側面に配置されたカメラボタンで起動します。iPhone 15 Proなどカメラボタンを装備しないモデルでも、コントロールセンターにボタンを配置するか、本体左側面のアクションボタンに割り当てれば起動できるようになります。
起動後、調べたいものに向けてカメラを構えシャッターボタンを押すと、検索対象物が確定されます。その状態から「質問」と「検索」どちらのボタンをタップするかによって、ビジュアルインテリジェンスから得られる情報は大きく変わってきます。
「検索」ボタンをタップすると、イメージはGoogleのサーバに送信され、Googleのサーチエンジンを利用して類似する画像を検索します。表示される情報は画像を掲載しているWEBページの名称とその概要が中心で、「Googleレンズ」で画像検索したときと大きく変わりません。
一方の「質問」ボタンをタップすると、イメージはChatGPTに送信され、訓練されたAIによる分析を踏まえた解説が行われます。つまり、ChatGPTの画像認識機能を利用できるのが「質問」ボタンです。
たとえば、孫の手を被写体にして検索するとき、「検索」ボタンでは孫の手の写真を掲載しているWEBサイトが提示されるだけですが、「質問」ボタンでは孫の手と認識したうえでどのような働きを持つ道具なのか、その社会的背景を踏まえて解説してくれます。状況に応じて2つのボタンを使いわけましょう。