Copilotと自動化テクニック

今回はWindowsの自動化テクニックを活用してユーザーがCopilot in Windowsをより効率的に利用できるようにする方法を紹介する。特定のプロンプトやタスクを自動化することで繰り返し行う操作を効果的に行えるようにしていこう

連載「Copilot in Windowsを使ってみよう」のこれまでの回はこちらを参照。

Copilotによる要約の生成をショートカットキーで行わせる

Copilot in WindowsやCopilot in Edgeで特に有益な操作のひとつが情報の要約を生成してもらうことだ。Copilotに情報を要約してもらうことで、これまでよりも多くの情報を、これまでよりも短時間に把握し、判断することができるようになる。

そうした操作のサンプルとしてこれまでしばらくはMicrosoft Edgeに搭載されているCopilotパネルを使って表示させているWebページやPDF、動画などのデータの要約を生成させる操作を取り上げてきた。Microsoft EdgeのCopilotパネルには最初から「ページの概要を生成する」というボタンが用意されており、要約を生成させるのはとても簡単だ。

今回はこの操作をさらに短縮して、ショートカットキーひとつでWebページの要約を生成できるように設定する。

Power Automateと組み合わせる

最近のWindows 11およびWindows 10にはデスクトップで利用できる「Power Automate」が最初から用意されている。インストールされていない場合にはMicrosoft Storeからインストールしよう。現在このアプリケーションは無償で利用できる。

ウィンドウ操作の自動化やショートカットキーとの結び付けを行う方法はいくつか存在している。ここでPower Automateを選択したのは、これがMicrosoftの提供している正規のプロダクト＆サービスだからだ。サードパーティーアプリケーションまで候補を広げれば他にも選択肢があるし、同じMicrosoftのプロダクトでもPowerToysをいう選択肢もある。

Microsoftの製品という点であればPowerToysを使ってもよいが、こちらはアドバンスドユーザーや開発者向けの側面が強い。PowerToysを使って今回行おうとしていることを実現するにはある程度PowerShellプログラミングが必須になってくるので、本連載が対象とするユーザーにはPower Automateの方が適切ではないかと思う。

Copilotで要約するオートメーションを組み上げる

本連載はPower Automateの連載ではないので、Power Automateについての詳しい説明は割愛する。詳しい情報は「【連載】Power Automateで世界を変える⁉ Windows自動化のすゝめ | TECH+（テックプラス）」にまとめてあるので、興味があれば参考にしていただければ幸いだ。

まず、Power Automateを起動して新しくフローを作成する。ここでは「Webページの要約を生成」という名前のフローを作成する。

• 

  「Webページの要約を生成」という名前のフローを作成

• 

  「Webページの要約を生成」という名前のフローの編集

ここで実現したいのは次の処理だ。

1. Microsoft EdgeのURLを取得する
2. Copilot in WindowsのプロンプトにURLの要約を生成するように指示を出す

内容は実にシンプルだが、これを実現するのは少々厄介だったりする。どちらの方法もPower Automateから操作するためのAPIは正式には提供されていないようにみえるからだ。つまり、正規の方法ではない手順で上記を実現する必要がある。

いくつか方法はあるが、ここではショートカットキーを活用することにする。ショートカットキーが今後大きく変更される可能性は少ないと思われ、比較的永続性がある方法だと考えられるからだ。具体的には次のショートカットキーを使う。

上記ショートカットキーを使った具体的な手順は次のようになる。フォーカスはMicrosoft Edgeにあるという前提での手続きだ。

1. Ctrl+Lでアドレスバーにフォーカスを移しアドレスバーのテキスト(URL)をすべて選択する
2. Ctrl+Cでアドレスバーのテキスト(URL)をシステムクリップボードへコピーする
3. Win+CでCopilot in Windowsパネルを開く
4. Copilotのプロンプトにシステムクリップボードから取り出したURLを含むプロンプトへの指示を送信する

これならAPIが提供されていなくても実現したいことは実行することができる。次にそれぞれを実現するPower Automateのアクションの追加の様子を掲載する。

• 

  Microsoft EdgeのアドレスバーのURLをシステムクリップボードへコピー

上記スクリーンショットでは「{Contrl}({L}){Control}({C})」というテキストを送信している。これはCtrl+L Ctrl+Cというキーを押すという処理に相当している。Microsoft Edgeにフォーカスがある場合、これでURLがシステムクリップボードにコピーされることになる。

• 

  システムクリップボードのテキストをClipboardTextという変数に保持

上記スクリーンショットではシステムクリップボードのテキストをClipboardTextという変数に保持している。テキストとして送信するために一旦変数に代入しておく必要があるのでこのように処理している。

• 

  Win+CでCopilot in Windowsパネルを開く

上記スクリーンショットでは「{RWin}({C})」というテキストを送信している。これはWin+Cというキーを押すという処理に相当している。これでCopilot in Windowsのパネルがオープンしてくる。

• 

  Copilotのプロンプトにシステムクリップボードから取り出したURLを含むプロンプトへの指示を送信

上記スクリーンショットで開いたCopilotのプロンプトへ指示を送信している。送っているのは次のテキストだ。

Summarize the contents of the following URL in Japanese: %ClipboardText%{Return}{Return}

ここで注目しておきたいのはプロンプトへの指示を英語にしている点だ。日本語入力がONになっていると送信したテキストが日本語入力の対象となりうまく処理されないので、英語にして、かつ「テキストをハードウェアキーとして送信します」をONにしている。こうすることで日本語入力が有効になった状態でもプロンプトへ指示を送ることができる。Power Automateのキー送信は日本語入力モードとはあまり相性がよくないので、このような回避策を取ることがある。

最後にエンターキーを2回送っているのは、英語と日本語の双方に対応するためだ。日本語入力モードではないときにはエンターキーは1回でよいのだが、日本語入力モードになっているときは一旦エンターキーで入力を確定してから、もう一度エンターキーを押してプロンプトに指示を送る必要がある。このためエンターキーを2回送っている。

上記は英語だが、URLの内容を日本語で要約するようにプロンプトに指示を出しているので、要約は日本語で生成される。

• 

  作成されたPower Automateフロー

これでフローの作成は完成だ。フローの一覧にもどって「Webページの要約を生成」のプロパティを表示し、キーボードショートカットを入力する。

• 

  「Webページの要約を生成」フローを実行するキーボードショートカットを設定

上記設定でCtrl+Shift+1で「Webページの要約を生成」フローが実行されるようになる。ショートカットキーは「キーボードショートカットで実行」のフィールドをフォーカスして使いたいショートカットキーを入力すれば設定することができる。

これでMicrosoft EdgeでWebページを閲覧している間、そのページの要約を読みたくなったらCtrl+Shift+1を押せばよいということになる。

動作を確認する

作成した要約処理を試してみる。まず、要約したいWebページをMicrosoft Edgeで閲覧する。

• 

  Microsoft Edgeで閲覧したWebページを表示

この状態でCtrl+Shift+1を押すと、次のようにCopilot in Windowsのパネルが表示され、プロンプトの指示が送信され、Webページの要約が表示される。

• 

  自動処理の結果

このようにショートカットキーひとつで自動的に要約を生成できたことが分かる。

カスタマイズや高速化

今回取り上げたフローは必要最小限の機能しか実装していない。さまざまなシーンで汎用的に使えるようにするには、フローをさらにつくり込む必要がある。Power Automateの使用経験があればそれほど難しいことではないので、【連載】Power Automateで世界を変える⁉ Windows自動化のすゝめ | TECH+（テックプラス）などを参考にして取り組んでもらえれば幸いだ。

今回の方法の最大の問題点は、ショートカットキーを押してから実行されるまでに若干のタイムラグがあるということだ。Power Automateはクラウド経由でフローをダウンロードしてから実行するため、ショートカットキー経由で実行する場合にはフローの実行までにタイムラグが発生してしまう。せっかくショートカットキーに設定したのにすぐに実行されないのはストレスになるものだ。

実行までのタイムラグが気になる場合には、PowerToysとPowerShellを使う方法を試してもらえればと思う。こちらの方法であればローカルのプログラムだけなのでサクッと実行される。PowerShellのプログラミングが必要になるが、それはCopilot in Windowsに組み方を問えば教えてくれるので以前ほど敷居は高くないと言える。Copilotの活用練習としてCopilotと相談しながら作業してみるのもありかもしれない。

付録: ショートカットキー

付録: 対応バージョン

参考

• Copilot in Windows & Other AI-Powered Features | Microsoft
• Copilot documentation | Microsoft Learn
• Adopt, extend and build Copilot experiences across the Microsoft Cloud | Microsoft Learn
• Bringing the power of AI to Windows 11 - unlocking a new era of productivity for customers and developers with Windows Copilot and Dev Home - Windows Developer Blog