クロールとは、検索エンジンのロボット（クローラー）がWebページを巡回し、情報を収集することです。

Googleの場合、「Googlebot」と呼ばれるクローラーがリンクをたどりながらページを発見・取得しています。

クロールされたページの情報はGoogleのデータベースに登録（インデックス）され、検索結果に表示される候補となります。つまり、クロールされなければそもそも検索結果に掲載されることはありません。

サイトの規模が大きくなると、Googleがクロールに割り当てるリソース（クロールバジェット）の問題が出てきます。不要なページが大量にクロールされると、重要なページへのクロールが遅れる原因になるため、サイトマップの送信やrobots.txtによる制御で、クロールの効率を高めることが重要です。

新しいページを公開した際や、既存ページを更新した際には、Google Search Consoleの「URL検査」ツールからインデックス登録をリクエストすることで、クロールを促すことができます。

サイトの更新頻度が高く、コンテンツの品質が評価されているサイトほど、クロールの頻度も高まる傾向があります。