アドビは10月14日～16日（現地時間）に、米国フロリダ州・マイアミで開催されたイベント「Adobe MAX 2024」にあわせて、9月に告知されていた動画生成AI「Adobe Firefly Video Model」をリリースしました。この新しい生成AIモデルにはどのような特徴があり、組み込まれる動画編集ソフト「Adobe Premiere Pro」では今後、どんなことができるようになるのでしょうか。「Adobe MAX 2024」の会場で取材しました。

Adobe Fireflyでは、クリエイターが生成AIをコントロールできる

Firefly Video Modelは現在、Adobe Fireflyのサイトで制限付きのパブリックベータ版として提供されています。利用するには待機リストに登録する必要がありますが、テキストでプロンプトを入力したり、参照画像をアップロードして約5秒間の動画を生成することができます。イベント会場のブースで体験したデモでは、使用可能なプロンプトは英語のみでしたが、5秒間のかなりリアルな動画を2分ほどで生成することができました。生成した動画はmp4ファイルとしてダウンロードでき、Bロール（補足カット）などに使用できます。

  • Adobe Fireflyサイトの動画生成の画面

    Adobe Fireflyサイトで利用できる動画生成の画面。さまざまなコントロールが可能

ビデオ製品 シニア プロダクト マーケティング マネージャーのジェイソン・ドラス氏によれば、Firefly Video Modelは、画像を生成できる「Adobe Firefly Image Model」などと同様に、単にプロンプトから生成ができるというだけでなく、「クリエイティブなコントロールがたくさん用意されている」のが特徴となっています。 実際にAdobe Fireflyのサイトでは、プロンプトの入力や参照画像のアップロードに加えて、カメラのアングルや、ズームやパンなどの動き、手ぶれ、ムードや雰囲気などを、さまざまなコントールによって調整できるようになっています。

生成AIおよびAdobe Sensei担当バイスプレジデントのアレクサンドル・コスティン氏は、Adobe Fireflyについて「当初から、複数の次元で（他の生成AIと）差別化できるようモデルを設計してきた」と説明しています。すでによく知られているように、Adobe Fireflyでは「Adobe Stock」など、権利関係がクリアなデータのみをトレーニングに使用しているため、著作権侵害のリスクがなく、安全に商業利用できるという特徴があります。実際に法人向けには、知的財産（IP）補償サービスも提供されていますが、これらの条件はもちろん、Firefly Video Modelでも同じです。

  • Adobe Sensei担当バイスプレジデントのアレクサンドル・コスティン氏

    Adobe Sensei担当バイスプレジデントのアレクサンドル・コスティン氏

またアドビでは、「生成AIを『生成編集』ととらえ、さまざまな編集／制御ができるように設計することでも、差別化している」とコスティン氏は言います。前述のように、Firefly Video Modelでカメラアングルの制御やモーションの制御ができるようになっているのも、すべてはユーザーの望む「生成編集」を可能にするため。また同じ理由からAdobe Fireflyでは「Photoshop／Illustrator／Premiere Pro／Adobe Expressなどのアプリケーションに深く統合できるようにモデルを設計している」と言います。

Firefly Video Modelもすでに、「Adobe Premire Pro」の最新ベータ版に「生成拡張」機能として実装されています。こちらは動画の足りない尺を、スローモーションなどを用いずに生成で引き延ばせるというものです。生成AIのアプリケーションへの実装をいち早く進めるのは、「我々のカスタマーが多くの困難なワークフローに直面しているのは、これらのアプリケーション上だから」とコスティン氏。「さらにカスタマーの時間を節約できる、より強力な機能を提供したいと考えている」と話していました。

Adobe Premire Proの動画編集を生成AIが劇的に変える

Premire Proの生成拡張がどのような機能かについては、ビデオ製品担当のドラス氏が詳しく解説してくれました。ビデオクリップの延長したい箇所を指定すると、Firefly Video Modelがクラウドで、その拡張を処理するしくみ。「ビデオクリップの各フレームを見て、カメラの動き・照明・風景・キャラクターの動きなどの特徴を調べ、カメラで撮影されていないフォトリアリスティックに近いクリップの拡張を生成します」とドラス氏。あわせてこの際、クラウドにアップロードされるクリップについて、「Firefly Video Modelのトレーニングには使用されません。使用許可が与えられた映像でのみでトレーニングしています」と、強調しました。

  • ビデオ製品担当のジェイソン・ドラス氏とミーガン・キーン氏

    ビデオ製品担当のジェイソン・ドラス氏（右）とミーガン・キーン氏（左）

Premire Proの生成拡張機能では、映像は2秒間、オーディオは10秒間、前後のフレームから生成して伸ばすことができます。プロフェッショナルフィルム＆ビデオ製品 マーケティングディレクターのミーガン・キーン氏はオーディオについて、「特筆すべきは、オーディオの拡張機能では、風やざわめきのような環境音を拡張できるということ。一方で私たちはライセンスやコピーライティング上の理由から、音楽や会話は拡張しません」と説明しています。

拡張できる映像が2秒なのは、クリップを伸ばしたいというユースケースについて調査した結果、「このような隙間の調整や、またはつなぎのニーズに対応するのに必要な時間が2秒だったから」とキーン氏。「もし2秒よりも長いものが必要な場合は、別のクリップを探すか、Firefly Video Modelで生成したクリップを使用するかのいずれかになり、必ずしも伸ばす必要はありません。編集者のワークフローにおけるユースケースはどのようなものか、そのユースケースで実際に必要なのはどのくらいかを検討しています」と言います。

  • 映像／動画を伸ばせるほか、生成した動画をBロールとして使用できる

    映像／動画を伸ばせるほか、生成した動画をBロールとして使用できる

Adobe Firefly担当のコスティン氏も、生成されるクリップが長ければ良いわけでないと話します。「カスタマーはストーリーを自ら語りたいと考えています。制御なしに1分間のビデオを生成したいわけではありません。拡張されたクリップはキャラクターの一貫性やシーンの一貫性などを維持する必要があるため、長さではなく、カスタマーがストーリーを語れるような一貫性のある高品質クリップを生成することに重点を置いています」と説明しました。

Premire Proにおける「生成拡張」は、ビデオクリエイターのコミュニティと向き合う中で「これは私たちが解決しなければならない問題だと感じた、最初のユースケースだった」とプロフェッショナルフィルム＆ビデオ製品担当のキーン氏。Premire Proには今後もさらにFirefly Video Modelを用いたさまざまな機能が追加されていくことになりそうです。

  • 動画内のオブジェクトを選択して静止画のように合成する

    動画内のオブジェクトを選択して静止画のように合成する様子も紹介された

Adobe MAX 2024のキーノートでは、Premire Proの未来の姿として、動画内のオブジェクトを自動認識して選択できる機能も披露されました。静止画でやるようにオブジェクトを削除したり、背景を変えたり、配置を変えたりすることが動画上で簡単にできるというもので、これは昨年の同イベントで、将来の技術をチラ見せする「Sneaks」として披露されたもの。Photoshopの「生成塗りつぶし」機能同様、動画編集を大きく変える可能性があります。できるだけ早い実装に期待したいところです。