Fichiers contenant des commandes destinées aux robots crawler des moteurs de recherche
Ce fichier nomme des indications spécifiques aux bots pour les pages qu’ils doivent crawler et celles qu’ils ne doivent pas crawler. On le trouve généralement à la racine du nom de domaine en tapant dans la barre de recherche https://mon-site.fr/robots.txt. Il participe au référencement naturel d’un site web. Le nom de ce fichier comporte le mot « robots » au pluriel, et non au singulier comme on peut régulièrement le voir.