Un crawler, robot, ou encore spider est un logiciel utilisé par les moteurs de recherche qui parcourt le web et explore les pages afin de d'enregistrer les données et permettre leur indexation.