Terme désignant un robot d’indexation qui parcourt automatiquement les différentes pages d’un site Web
Il s’agit d’un logiciel ayant pour mission principale d’explorer le web afin d’analyser le contenu des documents visités et de les stocker dans un index, de manière organisée. Ainsi, le crawler parcours automatiquement les différentes pages et sites web à la recherche de nouveaux contenus, ou d’éventuelles mises à jour de contenus déjà analysés dans le passé. Contrairement aux spambots, le robot de crawl n’est pas nuisible pour le site web en cours d’analyse.