iPhoneで撮ったスクショに写り込んだ文字を検索する

スクリーンショットとは、画面をそのまま"瞬間凍結"した画像ファイルです。iPhoneの場合、サイドボタンとボリューム上ボタンの同時押しにより作成され、写真ライブラリにPNGフォーマットで保存されます。

ディスプレイに表示された情報をそのままの形で保存できるスクリーンショットは、チャットのやり取りを第三者に伝えたいときの"証拠写真"、ゲームアプリでレアキャラが出現したときの"記念写真"として便利に使えます。ただし、すべてが画像として保存されるため、そのとき表示されていたテキストはあとから検索できません。

しかし、スクリーンショット上のテキストが検索の対象にならないことは、いずれ過去の話となりそうです。iOS 15の新機能「テキスト認識表示(Live Text)」は、画像に含まれる文字を作業対象にする一種のOCR機能で、実風景を写した画像(写真)だけでなくスクリーンショットのような人工画像も対象になります。

たとえば、スクリーンショットにある「00:54:50」という経過時間を表す文字列をたよりに検索したいときには、写真アプリの検索機能ではなくSpotlight検索を利用し、「写真 00:54」などと「写真」の直後にスペース1字をあけ、検索語の前半数文字を続けて入力します。すぐに「"写真"で検出されたテキスト」として、対象の画像がヒットするはずです。

ただし、画像から文字を見つけ出す精度は100%ではないため、文字の取りこぼしや誤認識も発生します。前述の例でいえば、「00:54:」ではなく「00:54.」のように「:」が「.」として検出されることもあります。2021年12月現在、テキスト認識表示機能は日本語に正式対応していないため、英数字と一部の漢字は検出されても、ひらがな/カタカナは検出できません。フォントサイズの小さい文字も検出されないことが多いため、スクリーンショットを対象とする場合は「英数字または漢字だけで構成される大きめの文字」を使いましょう。