Terme désignant généralement un robot logiciel d’un moteur de recherche en charge de l’indexation des pages web
Le spider va crawler les sites Web pour en extraire un certain nombre d’informations comme le contenu sémantique, le temps de chargement des pages, les liens rompus (erreurs 404) ou les redirections.
Selon les informations extraites, les robots permettent la hiérarchisation des sites en fonction des mots clés tapés par les internautes dans la barre de recherche. Ainsi, les utilisateurs peuvent trouver des résultats de recherche pertinents et de manière efficace.