東大、ネズミの脳とAIを結んでイラストを描かせるシステムを開発

潜在拡散モデルの仕組み。生成したい画像の指示文と、ノイズ(橙色)を入力とする。指示文は、文字埋め込み層によって単語ベクトル(青)に変換される。それぞれが潜在拡散モデルに入力され、ノイズから画像が復元される。最後に潜在空間のベクトルがデコーダによって画像の次元に拡張され、画像として出力される(出所:東大プレスリリースPDF)