Google Cloud Storage(GCS)は、Google Cloud上でファイルを保管できるオブジェクトストレージサービスで、ドキュメントの共有先やログの保管先として広く利用されています。しかし、バケットにファイルが蓄積されるほど、必要な情報を探し出すのは難しくなりがちです。

Fess 15.4では、こうしたクラウドストレージを検索対象にできるよう、ファイルシステムクロールにs3://スキームとgcs://スキームが追加されました。第75回 s3スキームでAmazon S3のファイルをクロールするではs3://スキームでAmazon S3をクロールする方法を紹介しましたが、今回はgcs://スキームを使って、GCSバケット内のファイルをクロールし、全文検索できるようにする手順を説明します。

GCSをクロールするには、FessからGCSへアクセスするためのサービスアカウントの認証情報(JSONキー)が必要です。今回は、Fess 15.9.0を利用して、認証情報の取得からgcs://スキームを使ったクロール設定までを順に説明します。

gcsスキームによるクロールとは

ファイルシステムクロールでは、通常のローカルパスの代わりにgcs://から始まるURLを「パス」に指定することで、GCS上のオブジェクトをクロールできます。

gcs://スキームは、Google Cloudが提供するクライアントライブラリを利用してGoogle Cloud Storageにアクセスします。取得したファイルは、ローカルのファイルと同じようにテキスト抽出やインデックス登録が行われるため、GCS上のドキュメントもそのまま全文検索の対象になります。

このgcs://スキームの機能は、Fess 15.9で本体から分離され、fess-storage-gcsプラグインとして提供されるようになりました。そのため、利用にはプラグインのインストールが必要です。同じく15.9から、第75回で紹介したs3://スキームも、fess-storage-s3プラグインが必要になりました。

なお、管理画面の「システム」>「全般」にあるストレージ設定と、それに連動して表示される「システム」>「ストレージ」画面は、GCSやS3のバケットを管理画面上で参照・操作するための機能であり、gcs://スキームによるクロールとは独立した別機能です。クロールを行うだけであれば、全般のストレージ設定は必要ありません。

認証情報の取得

まずは、FessがGCSにアクセスするためのサービスアカウントの認証情報(JSONキー)を取得します。

Google Cloud Consoleにアクセスし、FessからクロールしたいGCSバケットがあるプロジェクトを選択します。

サービスアカウントの作成

「IAM と管理」>「サービス アカウント」を開き、「サービス アカウントを作成」をクリックします。

サービスアカウント名を入力します。
サービスアカウント ID は自動入力されるので、必要に応じて変更してください。 入力後、「完了」ボタンをクリックします。

  • サービスアカウントを作成

    サービスアカウントを作成

サービスアカウントの一覧画面が表示されるので、作成したサービスアカウントのメールアドレスを確認しておきます。

[サービスアカウント名]@[プロジェクトID].iam.gserviceaccount.com

このメールアドレスは、後でGCSバケット側の権限設定で使用します。

GCSバケットへの権限付与

次に、クロール対象のGCSバケットに対して、作成したサービスアカウントが読み取りできるように権限を付与します。クロールに必要なのは、バケット内のオブジェクトを一覧・読み取りする権限だけです。そのため、ここでは必要最小限の権限として「Storage オブジェクト閲覧者」ロールのみを付与します。

Cloud Storageのバケット一覧から、クロール対象のバケットを開きます。
「権限」タブをクリックし、「アクセスを許可」をクリックします。

  • アクセス許可

    アクセス許可

「新しいプリンシパル」には、先ほど作成したサービスアカウントのメールアドレスを入力します。

  • プリンシパルの指定

    プリンシパルの指定

「ロールを選択」のプルダウンをクリックすると検索窓が表示されるので、「Storage オブジェクト閲覧者」を検索します。検索結果をクリックすると、ロールが割り当てられます。

  • ロールの割り当て

    ロールの割り当て

ロールを割り当てたら、「保存」をクリックして設定内容を保存します。

  • ロールの保存

    ロールの保存

サービスアカウントキーの作成

権限を付与したら、再び「IAM と管理」>「サービス アカウント」を開き、作成したサービスアカウントを選択します。

「鍵」タブをクリックし、「キーを追加」>「新しい鍵を作成」をクリックします。

  • 新しい鍵を作成

    新しい鍵を作成

鍵の作成画面が表示されます。
キーのタイプは「JSON」を選択して「作成」ボタンをクリックしてください。

  • 秘密鍵を作成

    秘密鍵を作成

作成すると、サービスアカウント認証情報のJSONファイルがダウンロードされます。
このファイルは再ダウンロードできません。

注意 JSONファイルにはFessがGCSへアクセスするための秘密鍵が含まれるため、取り扱いには十分注意し、Gitリポジトリなどに含めないようにしてください。
また、組織のポリシー(iam.disableServiceAccountKeyCreation)でサービスアカウント キーの作成が制限されている場合は、キーを作成できません。その場合は、組織のポリシー管理者に確認してください。

このJSONファイルを、Fessを実行している環境から参照できる場所に配置します。

DockerでFessを利用している場合は、以下のようにホスト側に保存したJSONファイルをコンテナ内にマウントし、クロール設定ではコンテナ内から参照できるパスを指定してください。
以下のパスやJSONファイル名は例になりますので、利用する環境に合わせて変更してください。

    volumes:
      - ./data/fess/secrets:/etc/fess/secrets

上記のように指定した場合、クロール設定の設定パラメーター client.credentialsFile には /etc/fess/secrets/xxxxx.json を指定します。

プラグインのインストール

Fess 15.9以降でgcs://スキームを利用するには、fess-storage-gcsプラグインをインストールします。

管理画面の「システム」>「プラグイン」を開き、「インストール」をクリックします。
「リモート」タブをクリックし、プルダウンメニューから「fess-storage-gcs」を選択して「インストール」ボタンをクリックします。バージョンは、利用しているFessと同じもの(今回は15.9.0)を選択してください。

インストール後、プラグイン一覧画面にfess-storage-gcsが表示されていることを確認します。プラグインはFessの起動時に読み込まれるため、確認できたらFessを再起動してください。再起動後、ファイルシステムクロールでgcs://スキームが利用できるようになります。

  • プラグイン一覧画面

    プラグイン一覧画面

注意 DockerでFessを利用している場合、管理画面からインストールしたプラグインは、コンテナを再作成すると失われます。Composeファイルの環境変数FESS_PLUGINSにfess-storage-gcs:15.9.0を指定しておくと、起動時にプラグインが自動でインストールされます。

gcsスキームのクロール設定

クロール設定の作成

管理画面の「クローラー」>「ファイルシステム」>「新規作成」をクリックして以下を入力します。

  • 名前
  • パス
  • 設定パラメーター

「名前」には任意のクロール設定の名前を入力します。

「パス」には、クロールの起点となるバケットをgcs://バケット名/の形式で指定します。バケット名はこのパスから読み取られるため、設定パラメーター側で指定する必要はありません。ここでは「fess-testdata」というバケットを対象とするため、次のように入力しました(実際のバケット名に合わせて「fess-testdata」は置き換えてください)。

gcs://fess-testdata/

「設定パラメーター」は次のように記述します。

client.projectId=[プロジェクトID]
client.credentialsFile=[サービスアカウント認証情報JSONファイルのパス]

client.projectIdには、GCSバケットが存在するGoogle CloudプロジェクトのIDを指定します。client.credentialsFileには、先ほど配置したサービスアカウント認証情報JSONファイルのパスを指定します。client.projectIdは必須です。

  • ファイルシステムクロールの新規作成画面

    ファイルシステムクロールの新規作成画面

上記を入力後、「作成」ボタンをクリックします。

クロール範囲の絞り込み

バケット全体ではなく特定のフォルダー配下だけを対象にしたい場合は、「パス」に絞り込みたいフォルダーまで含めて指定します。たとえばlogs/配下だけをクロールするには、次のように指定します。

gcs://fess-testdata/logs/

反対に、一部のフォルダーやファイルをクロールから除外したい場合は、「クロール対象から除外するパス」に、除外したいURLにマッチする正規表現を指定します。次の例では、work/配下がクロールされなくなります。

gcs://fess-testdata/work/.*

これらの絞り込み条件は、gcs://から始まるURL全体に対して評価されます。特に「クロール対象とするパス」を使う場合は、末端のファイル名だけにマッチする条件にすると、起点や途中のフォルダーのURLが条件から外れ、その先のファイルまでたどれなくなる点に注意してください。この評価の仕組みはs3://スキームと共通なので、詳細は第75回の「クロール範囲の絞り込み」もあわせて参照してください。

クロールの実行

クロール設定の登録後、「システム」>「スケジューラ」>「Default Crawler」から「今すぐ開始」をクリックします。
クロールが完了したら、検索画面にアクセスして検索してみましょう。
GCSバケットに保存されたファイルが検索できれば成功です。

  • 検索画面

    検索画面

注意点

gcs://スキームでクロールする際は、次の点を押さえておきましょう。

  • 認証情報:認証には、サービスアカウントの認証情報JSONファイルをclient.credentialsFileで指定します。Google Cloud上でApplication Default Credentials(ADC)やワークロードアイデンティティが利用できる環境では、client.credentialsFileを省略することもできます。
  • 必要な権限:クロールでは、オブジェクトの一覧取得(storage.objects.list)と読み取り(storage.objects.get)だけを行います。この2つの権限は「Storage オブジェクト閲覧者」ロールに含まれているため、これ以上のロールを付与する必要はありません。
  • プロジェクトID:client.projectIdは必須です。認証情報JSONファイルからは自動で取得されないため、必ず指定してください。
  • ファイルサイズの上限:クロールできるファイルサイズには上限が設けられています。上限を超えるサイズのファイルも取り込みたい場合は、「第62回 クロール対象のファイルサイズ上限の設定」で解説した設定を参照してください。

まとめ

今回は、gcs://スキームを使って、Google Cloud Storage上のファイルをFessでクロールし、全文検索できるようにする手順を紹介しました。

GCSをクロールするには、FessからGCSへアクセスするためのサービスアカウント認証情報JSONファイルを用意し、クロール対象のバケットに読み取り権限を付与しておく必要があります。あとは、ファイルシステムクロールの「パス」にgcs://形式を指定し、設定パラメーターでプロジェクトIDと認証情報JSONファイルのパスを指定するだけで、GCS上のファイルを検索対象として取り込めます。

GCSに保存したファイルをFessに取り込めば、社内の他のファイルやWebページなどと合わせて、保管場所を意識せずに横断的に検索できるようになります。以前のAmazon S3と今回のGCSのように複数のクラウドストレージを併用している環境でも、それぞれのスキームでクロール設定を用意するだけで、同じ検索基盤に集約できます。ぜひお試しください。