Microsoftはこのほど、「Announcing new computer use in Microsoft Copilot Studio for UI automation」において、「Copilot Studio」に新機能「Computer use」を追加したと発表した。

この機能により、Copilot StudioのAIエージェントがWebサイトやデスクトップアプリケーションと直接対話し、ツールとして利用できるようになる。

  • Copilot Studioの新機能「Computer use」　出典:Microsoft

    Copilot Studioの新機能「Computer use」　出典：Microsoft

AIエージェント向けのAPIを持たないアプリとも連携可能

Copilot Studioは、Microsoftが提供する業務向けのAIチャットボットや自動化フローを構築・管理できるプラットフォーム。専門的なプログラミングの知識がなくても、自然言語で対話できるAIチャットボットを作成して、業務に導入できる点が大きな特徴とされている。

新たに追加された「Computer use」は、AIエージェントが、デスクトップアプリケーションやWebブラウザのユーザーインタフェース上で、ボタンのクリックや、メニューの選択、入力フィールドへの文字の入力といった操作を実行できるようにするもの。これにより、APIが提供されていないシステムとも連携が可能となり、データ入力や請求書処理、市場調査といったさまざまな業務を自動化できる。

  • AIエージェントがアプリのUIを直接操作する　出典:Microsoft

    AIエージェントがアプリのUIを直接操作する　出典：Microsoft

Microsoftによると、この新機能はユーザーインターフェイスの変更にも自動的に対応するという。ボタンや画面が変更された場合でも、内蔵の推論機能がリアルタイムで調整を行うことができる。また、Copilot Studioの堅牢なセキュリティ対策とガバナンスフレームワークを活用しているため、組織や業界標準のコンプライアンスに準拠するという点も強調されている。

「Computer use」は、Microsoftが提供するインフラ上で動作するので、ユーザーが独自でサーバを管理する必要はない。ただし、企業データはMicrosoftのクラウド内の隔離された領域に保持されるため、モデルのトレーニングに使用されることはないという。

本稿執筆時点で、この機能は米国でホストされているプレビュー環境のユーザーにのみ公開されている。希望する企業や組織は、限定プレビューへの参加を申請することで、いち早く新機能を試すことができる。