Windows版Copilotにアプリの画面を見ながら操作を支援してくれる新機能

Microsoftは4月8日(現地時間)、「Copilot on Windows: Vision and file search begin rolling out to Windows Insiders」において、Windows版のCopilotアプリ「Copilot on windows-insider」に対する2つの新機能の追加をアナウンスした。

1つはデバイス上のファイルを検索できる機能で、もう1つはブラウザやアプリの画面を共有しながら操作方法などについて支援してくれる機能。いずれもWindows Insiderプログラムの参加者向けに段階的に展開されており、Microsoft Store経由で配布されるバージョン「1.25034.133.0」以降において利用可能になる。

デバイス上のファイルを、内容に関する質問で検索できる

Copilotのファイル検索機能は、デバイス上のファイルを、内容に関する質問で検索して開けるもの。Windowsの通常のファイル検索は、ファイル名やファイルに記載されている文字列を指定して検索するが、Copilotでは「私の履歴書を探して」といったような自然言語での指示で検索できる。さらに、「予算ファイルを見て先月の外食費を教えて」というように、ファイルの内容に関する質問にも回答できるという。

Copilot on Windowsのファイル検索機能　出典：Windows Insider Blog

Copilotがアクセスできるファイルの権限は、Copilot設定の「権限設定」で調整することが可能。現在、.docx、.xlsx、.pptx、.txt、.pdf、.jsonファイルの読み取りをサポートしている。この機能は、世界中のInsiderプログラムの参加者向けに、段階的に展開が始められている。

AIがアプリの操作をサポートしてくれる

アプリの操作支援機能は「Copilot Vision」という名前で提供される。ユーザーがCopilot Visionに任意のアプリの画面を共有すると、Copilot Visionはそのアプリに関する分析や、質問への回答、音声ガイダンスによる操作の指示などができるようになる。また、ユーザーがCopilotに対して音声やテキストで操作を指示することもできる。

例えば、ユーザーがアプリ上でどのボタンを押したらいいのかわからない場合、Copilotに質問すればそのボタンの場所を探して教えてくれる。アプリの操作に慣れていないユーザーにとっては、これまでのように操作方法を自力で調べる必要がなくなるので、作業効率の大幅な向上が期待できる。