インターネット上のWebサイトの情報を、自動で収集するプログラムのことです。

収集した情報はサーバーに登録され、検索順位を決定する際に使用されます。

クローラーが収集した情報がサーバーに登録されることを「インデックス（される）」と言います。

検索エンジン各社が、様々なクローラーを動かしています。
代表的なものは、Googlebot（Google）やBingbot（マイクロソフトのBing）などがあります。

Googlebotに早く巡回してほしい場合は、GoogleサーチコンソールからXMLサイトマップを送信したり、インデックス登録のリクエストをすることで、インデックスされるまでの時間を短縮することができます。

※2022年1月頃から、上記を行ってもインデックスされるのに以前より時間が掛かるようになっています。