クロールバジェット

クロールバジェットとは、Googleのクローラーが一定期間内に特定のサイトをクロールできる上限量のことです。

「クロールレートの上限（サーバーに負荷をかけすぎない範囲）」と「クロールの需要（Googleがそのサイトをどれだけクロールしたいか）」の2つの要素によって決まります。

数十〜数百ページ程度の小規模サイトでは、クロールバジェットが問題になることはほとんどありません。しかし、数万ページ以上の大規模サイトやECサイトでは、不要なページにクロールのリソースが消費されると、重要なページのクロールが遅れる原因になります。

■ 不要なページをnoindexやrobots.txtでクロール対象から除外する
■ 重複コンテンツを整理し、canonicalタグで正規化する
■ サイトマップに重要なページのみを記載する
■ オーファンページを解消し、サイト構造を整える
■ サーバーの応答速度を改善する

Google Search Consoleの「クロールの統計情報」レポートで、クロールの状況を確認できます。ページ数が多いサイトを運営している場合は、定期的にチェックしておきましょう。