Robots.txt : A quoi ça sert ?

Qu’est-ce qu’un fichier robots.txt ? Le fichier robots.txt est un fichier texte que les webmasters créent pour indiquer aux robots Web (généralement les robots des moteurs de recherche) comment explorer les pages de leur site Web. Le fichier robots.txt fait partie du protocole d’exclusion des robots (REP), un groupe de normes Web qui régissent la manière dont … Lire plus