Copilotにビデオの要約を生成してもらう

最近のCopilot in EdgeはMicrosoft Edgeで閲覧している動画の概要を生成することができる。この機能を使うとCopilotにWebページの概要を生成してもらったり必要な情報を抽出してもらったりする処理を、動画に対しても同じように行うことが可能になる。知っていると大幅な時短を実現できる便利な機能だ

連載「Copilot in Windowsを使ってみよう」のこれまでの回はこちらを参照。

動画もテキストみたいに要約してほしい

情報はテキストだけで配信されているわけではなく、動画や音声でも配信されている。インターネットが世界的に普及した現在では、世界中のテキスト、動画、音声といった形式の情報源にアクセスすることができる。動画で配信される情報はニュースに限らず、企画動画、イベント配信動画、ハウツー系動画、趣味系動画などさまざまなものがある。

世界中の組織や個人が動画による情報発信プラットフォームのひとつとして「YouTube」を活用している。YouTubeで配信される動画は多くの方にとって重要な情報源のひとつになっており、社会生活に欠かすことができないインフラになっているとも言えるだろう。

Microsoftが配信している次の動画をチェックしてみよう。

• Detecting political deepfakes with AI | The Prompt x Microsoft's Chief Questions Officer Trevor Noah - YouTube

• 

  Detecting political deepfakes with AI ｜ The Prompt x Microsoft's Chief Questions Officer Trevor Noah - YouTube

英語が使われている動画なので内容を理解するのはほとんどの日本人にとって敷居の高いものになるが、YouTubeは字幕の自動生成機能を備えているので、ある程度の内容は字幕を読むことで予測することができる。

• 

  英語字幕を表示させたところ

さらに字幕の自動翻訳機能も備えているので、字幕を有効化し、かつ、日本語への自動翻訳機能を有効にすると、次のように日本語字幕を表示させることができる。ここまでくると動画の内容をかなりスムーズに理解できるようになる。

• 

  自動翻訳させた日本語字幕を表示させたところ

このように現在ではYouTubeで配信されている動画を視聴する場合、使われている言語はそれほど大きな壁にならなくなっている。もちろん自動生成される字幕が100%正確というわけではないのだが、何もないのと比べれば雲泥の差だ。

こうなってくると最大の問題は動画の「長さ」そのものになってくる。動画によっては30分や1時間といった内容のものもある。仮に、1日にこうした動画を何本もチェックするとなると、どう考えても時間が足りない。

Copilotのような生成AIチャットの登場によってテキストについては要約を自動生成できるようになった。数百ページにおよぶ文書であっても数秒で概要を生成することができ、対話することで特定の情報を聞き出すこともできる。生成AIチャットがもたらす時間の効果は劇的なものがある。

動画データはこうした短縮が効かないという問題があったのだが、最近の生成AIチャットは動画に対してもテキストと同じような扱いができるようになってきている。Copilot in Edgeはすでにこうした機能に対応しており、動画の情報を整理する用途に使うことができるようになっている。知っていると大幅な時短につながる機能なので、まだ使ったことがなければ試して欲しい機能だ。

Copilotで動画の要約を生成させる

要約を生成させたい動画をYouTubeで閲覧し、その状態でCopilotパネルを開く。

• 

  YouTube動画を開いた状態でCopilotパネルを開く

上記スクリーンショットのようにCopilotパネルに「ビデオのハイライトを生成する」という表示があることを確認できる。これをクリックすると動画の要約が生成される。次のスクリーンショットが「ビデオのハイライトを生成する」をクリックしたあとのCopilotの回答だ。

• 

  「ビデオのハイライトを生成する」をクリックした後のCopilotの回答

Video summary

This video features Trevor Noah discussing with Oren Etzioni, founder of TrueMedia.org, about using AI to detect political deepfakes. They explore the challenges and tools involved in identifying deepfakes, especially in the context of elections.

1. Introduction and context

• Trevor Noah introduces Oren Etzioni
• Discussion on the prevalence of social media news
• Importance of detecting deepfakes

1. Challenges in detecting deepfakes

• Difficulty in identifying deepfakes manually
• Example quiz by Microsoft to distinguish real from fake images
• High error rate in human detection

1. TrueMedia.org’s approach

• Introduction to TrueMedia.org’s tools
• Uploading and analyzing media for deepfakes
• Emphasis on media literacy and verification

1. AI in deepfake detection

• Using AI to combat AI-generated deepfakes
• Achieving over 90% accuracy in detection
• Challenges with confirmation bias and user adoption

1. Impact on elections

• Deepfakes in recent elections worldwide
• Concerns about the upcoming 2024 elections
• Importance of awareness and readiness

回答が英語で表示された場合にはプロンプトに「日本語でお願いします。」と指示を出せば、再度日本語にしたものを表示してくれる。

• 

  「日本語でお願いします。」に対するCopilotの回答

もちろんです！以下はビデオのハイライトです：

ビデオの概要 [00:00:00] - [00:04:58]:

このビデオでは、トレバー・ノアがTrueMedia.orgの創設者であるオレン・エツィオーニと、政治的ディープフェイクを検出するためのAIの使用について話し合っています。選挙の文脈でディープフェイクを特定する際の課題やツールについて探ります。

ハイライト:

[00:00:00] 導入と背景

• トレバー・ノアがオレン・エツィオーニを紹介
• ソーシャルメディアニュースの普及についての議論
• ディープフェイク検出の重要性

[00:00:55] ディープフェイク検出の課題

• 手動でディープフェイクを識別する難しさ
• 本物と偽物の画像を区別するためのMicrosoftのクイズの例
• 人間の検出における高いエラーレート

[00:02:11] TrueMedia.orgのアプローチ

• TrueMedia.orgのツールの紹介
• メディアをアップロードしてディープフェイクを分析
• メディアリテラシーと検証の重要性

[00:03:20] ディープフェイク検出におけるAIの役割

• AIを使用してAI生成のディープフェイクと戦う
• 検出において90%以上の精度を達成
• 確認バイアスとユーザーの採用に関する課題

[00:04:07] 選挙への影響

• 世界中の最近の選挙におけるディープフェイク
• 2024年の選挙に対する懸念
• 意識と準備の重要性

何か他にお手伝いできることがあれば教えてください！

上記回答からも分かるとおり、時短目的ではなく動画の内容をあらかじめ把握しておく目的でも利用できる機能だ。

Copilotと対話して動画の内容を抽出する

そして動画の内容はCopilotと対話することで得ることもできる。例えば、次のような指示をプロンプトに出してみる。

この動画で述べられている本物と偽物の画像を区別するためのMicrosoftのクイズの例について、詳しく教えてください。

Copilotは次のように回答している。

• 

  Microsoftのクイズの例について詳しく教えるようにという指示への回答

動画では、Microsoftが作成したクイズを紹介しています。このクイズでは、画像を見てそれが本物か人工的なものかを判断する必要があります。Trevor Noahが実際にクイズに挑戦し、いくつかの画像を見て判断を下しますが、結果はあまり良くありませんでした。例えば、彼はある画像を人工的なものだと判断しましたが、それは実際には本物でした（[00:01:51]）。このクイズは、AIを使って本物と偽物を見分ける能力をテストするもので、多くの人が難しいと感じることが示されています（[00:01:34]）。

動画の該当部分の情報が簡潔にまとめられている。ベースとなっている動画の配信時分も明示されているので、正確に知りたい場合には該当部分を見ればよいだろう。

サンプルとしてさらにもうひとつ対話をしてみる。次のようにプロンプトに指示を出す。

この動画はAI生成のディープフェイクを検出するためにAIを使っているようですが、その検出技術はMicrosoftによって開発されたものでしょうか、それとも一般的な話をしているのでしょうか？

• 

  ディープフェイクを検出するAI技術がMicrosoft製かどうかを尋ねたことへの回答

Copilotは次のように回答している。

この動画では、AIを使ってディープフェイクを検出する技術について一般的な話をしています。TrueMedia.orgが開発したツールやアプローチについても触れていますが、特定の企業（例えばMicrosoft）の技術に限定しているわけではありません。

ただし、Microsoftがディープフェイク検出に関するクイズを提供している例が紹介されており、これはディープフェイク検出の難しさを示すための一例として使われています。

ディープフェイク検出技術は多くの企業や研究機関で開発されており、TrueMedia.orgもその一つです。AIを活用して、より高精度でディープフェイクを検出するための取り組みが進められています。

他に気になる点や質問があれば教えてください！

Webページに対してCopilotとチャットしている要領で動画に対しても操作できることが分かる。

ビデオのチェックを効率化してくれるCopilot

このようにCopilot in Edgeを使うことでYouTubeビデオの内容をWebサイトのテキスト情報のように扱うことができる。多くの動画をチェックする必要があるとか、長い動画を確認する必要があるといった場合に重宝する。

これまで何度も説明しているように生成AIチャットの動作は完璧ではなく、ときどきまったく分からないように嘘を混入させてくるという特徴があるので、その結果は常に斜め上から見ておく必要がある。しかしながら、ビデオの時分まで明示してくれているので、内容を確認するのは比較的簡単だ。動画の内容の確認にも使える機能なので、使ったことがなければ一度試してもらえればと思う。

付録: ショートカットキー

付録: 対応バージョン

参考

• Copilot in Windows & Other AI-Powered Features | Microsoft
• Copilot documentation | Microsoft Learn
• Adopt, extend and build Copilot experiences across the Microsoft Cloud | Microsoft Learn
• Bringing the power of AI to Windows 11 - unlocking a new era of productivity for customers and developers with Windows Copilot and Dev Home - Windows Developer Blog