Fessで画像ファイルをクロールして検索対象とする場合、従来は画像ファイルが持つメタデータの文字列しか検索対象にできませんでした。 しかし、近年の技術進歩により、マルチモーダル学習モデルを利用して、テキストと画像のベクトルを扱うことが可能になりました。 これにより、画像の内容をテキストで検索することができるようになります。
今回は、Fessがマルチモーダル学習モデルを利用して、画像の内容をテキストで検索する方法をご紹介します。
準備
Fessで画像検索を行うための環境は、GitHub上のcodelibs/docker-multimodalsearchで公開しています。 このリポジトリをクローンして、利用します。
$ git clone --branch v14.15.0 https://github.com/codelibs/docker-multimodalsearch.git
$ cd docker-multimodalsearch
実行にはDocker Composeが必要です。 事前にDocker Desktopなどをインストールし、利用できるようにしておいてください。
