Le robots.txt est un fichier indispensable pour un bon référencement.
Pour quoi faire ?
Il permet de donner des indications aux moteurs de recherche.
L’idée va être de valoriser les pages qui ont de la valeur et de demander aux moteurs de ne pas indexer certaine page.
Deux grosses règles :
La première : Le User-Agent
On va donner des indications aux robots ou à certains robots.
La seconde : Allow / Disallow
On va autoriser ou non certain répertoire.
Le cas WordPress :
Lorsqu’on édite en ligne son site, WordPress génère un robots.txt trop simple.
Indiquer votre sitemap dedans
Une bonne pratique du référencement est d’indiquer le chemin de votre sitemap dans le fichier robots.txt.
Exemple de robots.txt :
Vous trouverez ci-dessous un exemple pour WordPress afin de vous en inspirer :
User-agent: *
Disallow: /wp-login.php
Disallow: */trackback
Disallow: /*/feed
Disallow: /*/comments
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi
# Google Image
User-agent: Googlebot-Image
Disallow:
# Adsense
User-agent: Mediapartners-Google
Disallow:
Sitemap :https//www.votresite.com/sitemap.xml
