米Adobeは9月11日（現地時間）、開発中の動画生成AIモデルを「Adobe Firefly Video Model」として、今年後半にベータ版の提供を開始する計画を発表した。firefly.adobe.comとPremiere Pro（ベータ版）で利用可能になり、ウェイティングリストに登録すると開始の通知を受け取ることができる。
Adobeは生成AIツール利用の動画分野への拡大を進めており、今年4月、Premiere Proへの搭載を計画している生成AIツールの動作をプレビューしていた。
Adobe Firefly は、Adobeが開発する生成AIモデルである。著作権侵害の恐れがないコンテンツだけをAIの学習に用いるなど、クリエイターや企業が安全に使用できるように設計されている。PhotoshopやIllustratorなど、Adobeの主要なクリエイティブツールに統合され、クリエイターが画像やデザイン、ベクトルなどを簡単に生成・編集できる機能を提供している。なお、Adobeは4月に動画生成AIツールをプレビューした際に、Fireflyモデルに加えて、Open AIやRunwayのようなサードパーティの生成AIモデルを同社のアプリケーションで直接利用できるようにするビジョンも明らかにしていた。
Adobeは9月11日、Firefly Videoのプレビューを公式ブログで公開し、「Text to Video」（テキストから動画生成）および「Image to Video」（画像から動画生成）を用いた短尺映像の生成や、既存の映像を補完する機能の作例を紹介している。
上の動画は、「Slow-motion fiery volcanic landscape, with lava spewing out of craters. the camera flies through the lava and lava splatters onto the lens. The lighting is cinematic and moody. The color grade is cinematic, dramatic, and high-contrast」というテキストプロンプトを用いて、2分以内に生成された。
クレーターから溶岩が激しく噴出している火山のスローモーション風景。カメラは溶岩の中を飛び、溶岩がレンズに飛び散る。照明はシネマチックでムーディ。 カラーグレードはシネマチックで、ドラマチック、ハイコントラスト。
「テキストから動画生成」では、テキストプロンプトだけで、カメラを柔軟にコントロールし、シーンを表現して、思い通りの演出を実現できる。
補完の例として、虫眼鏡を手に持ってタンポポを観察している子供の映像に対し、虫眼鏡のレンズでタンポポが拡大されるクリップを生成する例が示されている。
-
タンポポを観察する子供を撮影した映像（左）を、Firefly Videoを用いて生成したクリップ（右）で補完
オリジナル映像と生成クリップをタイムラインで組み合わせたシーケンスが下の映像である。生成クリップは、プレゼンテーション効果が高まるようにカメラのアングル、モーションやズームがコントロールされており、生成クリップを加えることで映像のストーリー性が向上している。
下は、銀河のイラストを用いた「画像から動画生成」の例である。テキストプロンプトを用いて、イラストや画像にストーリー性を加味したり、命を吹き込むようなコンテンツを簡単に作成できる。
「テキストから動画生成」や「画像から動画生成」に加えて、今年後半にPremiere Pro（ベータ版）で「Generative Extend」（生成拡張）も利用できるようになる予定である。これにより、クリップを拡張して映像のギャップをカバーしたり、よりスムーズなトランジションに調整するといった編集が可能になる。
Firefly Videoに期待される点は、その操作性である。従来、AI動画生成モデルは予測と異なる結果を生むことが多く、それがプロフェッショナルな環境での導入の障害になっていた。カメラのアングルやモーションのきめ細かな制御、プロが撮影した映像と組み合わせたストーリーテリングなど、AdobeはFirefly Videoを「映像のプロフェッショナルが完璧なクリップを作成できるように設計しており、多様なユースケースをサポートする」としている。生成AIを活用して時間のかかる編集作業を効率化することで、エディターやフィルムメーカー、コンテンツクリエイターがよりクリエイティブな作業に集中できるようになる。
安全性についても、使用許可を得たコンテンツのみを学習に用いており、既存のFirefly生成AIモデルと同様に安心して利用できると期待される。
