Crawlers directives – Une explication SEO

Crawlers directives, l’explication SEO

Les directives Robots ou crawlers directives sont des sections de code qui donnent des instructions aux robots d’exploration des sites Web sur la manière dont le contenu d’une page doit être exploré ou indexé. Les métabalises Robots permettent une approche granulaire pour contrôler la façon dont des pages spécifiques sont indexées et affichées dans les pages de résultats des moteurs de recherche.

La directive d’exploration la plus courante s’appelle “Robots Meta Directives”, également connue sous le nom de “meta tags”. Ces balises servent de directives pour les robots, afin qu’ils sachent comment explorer ou indexer votre site.

Une autre directive est le fichier robots.txt ; il s’agit d’un fichier qui a la même fonction que les balises méta. Ces directives sont lues par les moteurs de recherche et, en fonction de ce que vous voulez qu’ils fassent, ils agissent en conséquence.

Cependant, les crawlers ou bots ne répondent pas toujours aux instructions. Comme ils ne sont pas programmés pour suivre strictement ces règles, il est possible qu’ils ignorent parfois le code.

 

Les instructions les plus fréquentes

En fonction de vos besoins, certaines de ces instructions (sous forme de code) peuvent être :

  • Noindex : elle indique aux robots de ne pas indexer une page.
  • Index : c’est l’instruction par défaut, et cela signifie que le robot d’exploration peut indexer la page.
  • Dofollow : cette instruction indique au robot d’exploration de suivre la page et ses liens même si elle n’est pas indexée.
  • Nofollow : cette instruction indique au robot qu’un lien ne doit pas être pris en compte lors de l’indexation de la page où il se trouve.
  • Noimageindex : indique au robot de ne pas indexer les images du site.
  • None : fait référence à ‘noindex’ et ‘nofollow’ simultanément.
  • Noarchive : les moteurs de recherche ne doivent pas afficher un lien en cache vers cette page sur une SERP (page de résultats des moteurs de recherche).
  • Nocache : est identique à noarchive mais ne fonctionne que sur Internet Explorer et Firefox.
  • Unavailable after : indique aux robots d’exploration qu’après une date spécifique, ils ne doivent pas indexer le site Web.

 

Comment s’appliquent-elles ?

Les moteurs de recherche doivent explorer une page pour voir ces directives. Elles ne peuvent être suivies et comprises que si les robots d’exploration ont accès à la page. Ainsi, l’ajout d’une balise noindex puis l’interdiction de la page dans le fichier robots.txt signifieront que les moteurs de recherche ne verront pas la métabalise noindex.

Vous pouvez également créer des directives robots combinées en les séparant par des virgules. Par exemple, vous pouvez utiliser la combinaison suivante pour demander aux robots de ne pas indexer une page, mais de suivre tous les liens de cette page :

  • Dans une métabalise HTML : <meta name=”robots” content=”noindex, follow”>
  • Dans l’en-tête HTTP : X-Robots-Tag : noindex, follow

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *