マイナビニュースマイナビ

インデックスの管理

【連載】

簡単導入! OSS全文検索サーバFess入門

【第32回】インデックスの管理

[2020/11/24 09:00]菅谷 信介 ブックマーク ブックマーク

Fessで扱うデータはElasticsearchのインデックス内に保持して管理されています。ある時点のデータをバックアップしておき、データを復元できるようにしたい場合は、Elasticsearchスナップショット機能を使ってインデックスのデータをリストアします。今回はインデックスのバックアップやリストアなど、インデックスの管理方法についてご紹介します。

インデックスのバックアップとリストア

スナップショットは「ある時点における状態」のバックアップデータで、ローカルのファイルシステムやS3などのオンラインのストレージ上に作成できます。今回は、ローカルのファイルシステムに保存したスナップショットを別サーバにリストアする場合の手順を説明していきます。

操作は以下の順番で行います。

  1. リポジトリの登録
  2. スナップショットの取得
  3. リストアの実行

動作は、Fess 13.9.3、Elasticsearch 7.9.3で確認しています。また、FessとElasticsearchの環境は既に構築してあるものとします。

スナップショットのリポジトリの登録

まず、スナップショットを保存する出力先として、リポジトリ用のディレクトリを作成します。そのディレクトリはElasticsearchのプロセスがアクセスできるように、ユーザーとグループは「elasticsearch」に指定します。

$ sudo mkdir -p /var/backup/elasticsearch/
$ sudo chown elasticsearch:elasticsearch /var/backup/elasticsearch/

Elasticsearchがそのディレクトリを利用するために、「elasticsearch.yml」に「path.repo」を登録します。「path.repo」に設定するパスは、先ほど作成したディレクトリです。

path.repo: ["/var/backup/elasticsearch/"]

elasticsearch.ymlを更新したら、Elasticsearchを再起動します。Fessが起動している場合は、Fessのサービスを停止してからElasticsearchを再起動してください。

再起動後、以下のコマンドでリポジトリをElasticsearchに登録します。

curl -X PUT "localhost:9200/_snapshot/fess_backup?pretty" -H 'Content-Type: application/json' -d'
{
  "type": "fs",
  "settings": {
    "location": "fess_backup"
  }
}
'

以下が返ってきたら成功です。

{
  "accepted" : true
}

スナップショットの取得

次にスナップショットを取得します。以下は全てのインデックスを取得する例ですが、保存したいインデックスを指定して取得することも可能です。

curl -XPUT "localhost:9200/_snapshot/fess_backup/[スナップショット名]?wait_for_completion=true&pretty"

以下は実行例です。ここではスナップショット名はいつ取得したかわかるように日付を指定しています。「”state”」が「”SUCCESS”」になっていることを確認します。

# curl -XPUT "localhost:9200/_snapshot/fess_backup/snapshot_20200715?wait_for_completion=true&pretty"
{
  "snapshot" : {
    "snapshot" : "snapshot_20200715",
    "uuid" : "FLSNb3ffRzuPOnAqZ5G_Kw",
    "version_id" : 7080099,
    "version" : "7.9.3",
    "indices" : [
      ".fess_config.file_authentication",
      ".fess_user.user",
      "fess_log.search_log",
            ... 省略 ...
      ".fess_config.duplicate_host",
      "fess_log.click_log",
      ".fess_config.related_content"
    ],
    "include_global_state" : true,
    "state" : "SUCCESS",
    "start_time" : "2020-07-15T04:08:37.731Z",
    "start_time_in_millis" : 1594786117731,
    "end_time" : "2020-07-15T04:08:39.743Z",
    "end_time_in_millis" : 1594786119743,
    "duration_in_millis" : 2012,
    "failures" : [ ],
    "shards" : {
      "total" : 87,
      "failed" : 0,
      "successful" : 87
    }
  }
}

リポジトリ登録時に作成したディレクトリを見ると、/var/backup/elasticsearch/fess_backupディレクトリ配下にスナップショットが出力されているのが確認できます。

リストアの実行

取得したスナップショットからインデックスをリストアします。

取得したスナップショットを保存しているディレクトリ「/var/backup/elasticsearch/」をリストア先のサーバにコピーします。リストア先のElasticsearchにも同じ手順でリポジトリ登録をしておきます。

リストアする際、同じ名前のインデックスが存在しているとリストアはできないので、以下のいずれかを実施する必要があります。

  • インデックスを削除する
  • インデックス名を変更してリストアする

ここでは、検索用のインデックスが保存されている「fess.20200715」を「restored_fess.20200715」という別の名前にしてリストアします。

curl -XPOST "localhost:9200/_snapshot/fess_backup/snapshot_20200715/_restore?pretty" -H 'Content-Type: application/json' -d '{
    "indices": "fess.20200715",
    "ignore_unavailable": "true",
    "include_global_state": false,
    "rename_pattern": "fess.20200715",
    "rename_replacement": "restored_fess.20200715"
}'

以下が返ってきたら成功です。

{
  "accepted" : true
}

リストア先のFessの管理画面を見てみます。ダッシュボードに「fess.20200715」と、別名でリストアした「restored_fess.20200715」が表示されていれば成功です。

リストア先のダッシュボード

リストア先のダッシュボード

リストアしたインデックスをFessに反映するために「fess.search」と「fess.update」のエイリアスを張り替える必要があります。

curl -XPOST "localhost:9200/_aliases?pretty" -H 'Content-Type: application/json' -d '{
  "actions": [
         {"add": {"index": "restored_fess.20200715", "alias": "fess.search"}},
         {"add": {"index": "restored_fess.20200715", "alias": "fess.update"}},
         {"remove": {"index": "fess.20200715", "alias": "fess.search"}},
         {"remove": {"index": "fess.20200715", "alias": "fess.update"}}
    ]
}'

リストア後は、古いインデックスは削除してください。

インデックスデータの操作

Fessでは、コマンドでElasticsearchのデータを扱う以外に、管理画面でもインデックスのデータに対する操作を行うことができます。管理画面にログインして、「システム情報」の「メンテナンス」画面で操作します。

再インデクシング

既存のfessインデックスから新しいインデックスを再作成することができます。インデックスされているドキュメント内容は変更されませんが、Analyzerや辞書などのインデックス系の設定を更新し、新しいインデックスを作成します。また、辞書の初期化やシャード数などを変更することができます。

ドキュメントインデックスのリロード

ドキュメントインデックスのリロードボタンをクリックすると、Analyzerなどのインデックスの設定情報を反映できます。

Crawlerインデックス

.crawlerインデックスにはクロール中の情報が保存されます。クロールを強制終了などしたときに残ったクロール情報を削除したい場合などに利用することができます。

* * *

今回は、インデックスの管理について紹介しました。バックアップやインデックスのメンテナンスをする際はぜひ利用してみてください。

著者紹介

菅谷 信介 (Shinsuke Sugaya)

Apache PredictionIOにて、コミッター兼PMCとして活動。また、自身でもCodeLibs Projectを立ち上げ、オープンソースの全文検索サーバFessなどの開発に従事。

※ 本記事は掲載時点の情報であり、最新のものとは異なる場合がございます。予めご了承ください。

一覧はこちら

連載目次

関連リンク

この記事に興味を持ったら"いいね!"を Click
Facebook で TECH+ の人気記事をお届けします
注目の特集/連載
[解説動画] Googleアナリティクス分析&活用講座 - Webサイト改善の正しい考え方
Google Workspaceをビジネスで活用する
ニューノーマル時代のオウンドメディア戦略
ミッションステートメント
教えてカナコさん! これならわかるAI入門
AWSではじめる機械学習 ~サービスを知り、実装を学ぶ~
Kubernetes入門
SAFeでつくる「DXに強い組織」~企業の課題を解決する13のアプローチ~
AWSで作るマイクロサービス
マイナビニュース スペシャルセミナー 講演レポート/当日講演資料 まとめ
セキュリティアワード特設ページ

一覧はこちら

今注目のIT用語の意味を事典でチェック!

一覧はこちら

会員登録(無料)

ページの先頭に戻る