Le fichier robots.txt est un élément crucial pour la gestion des bots d’exploration sur votre site web.
Bien rempli, il peut aider à contrôler le comportement des robots des moteurs de recherche et à optimiser le référencement de votre site.
Dans cet article, nous allons explorer comment remplir correctement votre fichier robots.txt pour garantir une expérience optimale.
Le fichier robots.txt est un fichier texte placé à la racine de votre site WordPress qui indique aux robots d’exploration (comme ceux des moteurs de recherche) les parties du site qu’ils sont autorisés à explorer. Il peut également être utilisé pour spécifier les emplacements à éviter.
Voici un exemple de fichier robots.txt basique avec des directives communes :
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Allow: /wp-content/uploads/
Disallow: /wp-content
Disallow: /cgi-bin
Disallow: /*/feed
Disallow: */trackback
Disallow: /*/comments
Disallow: /*.php$
Disallow: /*.cgi$
Disallow: /*.inc$
Disallow: /*.gz$
Sitemap: https://www.amxtech.fr/sitemap_index.xml –> remplacer l’URL par celle de votre site WordPress.
User-agent
La directive `User-agent` spécifie à quel bot d’exploration s’applique la règle suivante. L’astérisque (*) signifie que la règle s’applique à tous les bots.
Disallow
La directive `Disallow` indique aux robots les répertoires ou fichiers qu’ils ne sont pas autorisés à explorer. Dans l’exemple ci-dessus, les répertoires tels que /wp-login.php et /wp-admin sont interdits d’accès.
Allow
La directive `Allow` annule une directive `Disallow` spécifique. Dans l’exemple, seuls les fichiers dans /wp-content/uploads/ sont autorisés, tandis que le reste de /wp-content/ est interdit.
Sitemap
La directive `Sitemap` indique l’emplacement du plan de site XML, permettant aux robots de découvrir plus facilement et d’indexer rapidement le contenu de votre site.
Le fichier robots.txt doit être placé à la racine de votre site web, accessible via une URL de la forme `votresite.com/robots.txt`. Si vous utilisez des plugins SEO comme RankMath, vous pouvez également modifier le fichier robots.txt à partir de l’interface d’administration.
Un fichier robots.txt bien configuré permet de mieux contrôler le comportement des robots d’exploration sur votre site web.
En utilisant les directives appropriées, vous pouvez guider efficacement les bots des moteurs de recherche et améliorer la visibilité de votre site dans les résultats de recherche.
Vous économisez aussi du temps de crawl aux robots de Google (spiders), ce qui est très bon pour votre site et pour Google.
Veillez à tester régulièrement votre fichier robots.txt pour vous assurer qu’il fonctionne comme prévu. (Pour tester : votresite.fr/robots.txt)
Créateur de sites WordPress et référenceur SEO depuis 2019, j'accompagne les TPE / PME dans leurs développement en ligne.
