Fessのクローラーでは、クロール対象のファイルが設定されたファイルサイズの上限を超える場合、そのファイルはクロールされず、検索対象にもなりません。この際、MaxLengthExceededExceptionという例外が発生します。
この機能により、サイズが大きすぎるファイルのクロールを避けることで、リソースを無駄にせず、システムの負荷を抑えられます。そのため、Fessを安定運用し、パフォーマンスを維持するためには、欠かせない設定となります。
今回はクロール対象のファイルサイズ上限の設定について解説します。 なお、この記事では、Fess 14.16とOpenSearch 2.16.0で動作確認を行っています。
設定
クロールするファイルサイズの上限は、ファイルの種類ごとに指定することができます。デフォルトでは、HTMLファイルは2.5MB、それ以外は10MBまで処理する設定になっています。
