Windows Latestは9月25日(現地時間)、「Microsoft Copilot for Android takes on Gemini Live with "Share Screen" feature, now rolling out」において、Microsoftが提供しているAndroid版の「Copilot Vision」に新たに画面共有機能が追加されたことを伝えた。

これまで共有できたのはカメラで写している画像のみに限定されていたが、今後は画面に表示しているすべてのものを共有してAIに渡すことができるようになる。

  • Microsoft Copilot for Android takes on Gemini Live with "Share Screen" feature、now rolling out

    Microsoft Copilot for Android takes on Gemini Live with "Share Screen" feature, now rolling out

全ユーザーが無料で利用可能

「Copilot Vision」は、Windows PCやスマートフォンの画面に表示している内容をAIが読み取って分析し、ユーザーの質問に答えたり要約したりできる機能である。例えば、メール本文を表示した画面に対しては、その内容を解析し、適切な返信を作成するといった使い方ができる。AndroidやiPhoneではCopilotアプリに付属する機能として利用可能となっている。

モバイル版のCopilot Visionは、これまではカメラで写している画面の解析のみをサポートしていた。つまり、印刷された文書をカメラで写して解析することはできても、画面上に表示したWebサイトの内容を解析するといった使い方には対応していなかった。それに対して最新のAndroid版Copilotには「画面共有」機能が実装され、画面に表示した内容をCopilot Visionに渡すことができるようになったという。

具体的には、共有した画面に対して次の操作を実行できる。

  • 画面上のコンテンツを要約または翻訳する
  • アプリの使い方に関するガイダンスを作成する
  • メッセージやメールに対する返信の下書きを作成する
  • デバイスの問題を共有してリアルタイムでトラブルシューティングする

なお、現時点では画面全体の共有しかサポートしておらず、特定のアプリやウィンドウだけを選んで共有する機能は搭載していない。また、Copilot Visionはあくまでも画面の内容を読み取るだけで、共有した画面をAIが制御してユーザーに代わって操作するようなこともできない。

画面共有機能は、サーバ側のアップデートによって自動的に有効化されるとのことだ。全ユーザーが無償利用可能で、ベータプログラムなどに参加する必要はない。ただし、Windows LatestではCopilotアプリを最新版にアップデートすることを推奨している。