Microsoftは5月20日(米国時間)、「Introducing Copilot+ PCs - The Official Microsoft Blog」において、「Copilot+ PC」の発表に合わせて、新たなAIエクスペリエンスであるライブキャプション機能を紹介した。強力なプロセッサおよび世界トップクラスの小規模言語モデル(SLM: Small Language Model)を含む複数の最先端AIモデルの活用により、Copilot+ PCデバイス上でローカルに実行できる新しい生成AIエクスペリエンスが発表された(参考: Microsoft、AI向けに設計されたPCの新カテゴリー「Copilot+ PC」発表 | TECH+（テックプラス）)。

  • Introducing Copilot+ PCs - The Official Microsoft Blog

    Introducing Copilot+ PCs - The Official Microsoft Blog

Copilot+ PCの革新的なライブキャプション機能とは

新しいライブキャプション機能を利用することで、PCで流れるすべての音声がリアルタイムで翻訳され、画面上に英語字幕として表示させることができる。

ライブキャプションはMicrosoft Teamsなど一部のアプリでも利用できるが、この機能はあらゆるアプリケーションやビデオプラットフォームで利用可能とされ、ライブ音声や録音済み音声を自動的に英語字幕に変換可能だという。40を超える言語に対応しており、インターネット接続がなくてもオフラインで利用できるという特徴をもっている。

この機能は、ニューラルプロセッシングユニット(NPU: Neural Processing Unit)を搭載したすべてのCopilot+ PCで利用できる。ユーザーの発言や音声が英語で字幕化されることで、意図したとおりに理解されることが期待されている。