Comment créer et optimiser le fichier robots.txt sur WordPress ?

Le fichier robots.txt sert à donner des instructions aux robots qui visitent votre site. Ce sont des instructions, non pas des règles. Ils ont donc la liberté de les suivre ou pas, bien que ses directives restent très importantes.

Au final, c’est un fichier accessible via une URL qui est souvent « votredomaine.com/robots.txt » et utile pour orienter les robots qui visitent votre site. Vous allez pouvoir en interdire certains, autoriser la navigation sur certaines parties de votre site, en interdire d’autres et bien d’autres choses.

Vous pouvez créez le robots.txt manuellement ou via un plugin, il en est de même pour son édition.

Si vous avez déjà installé le plugin WordPress Rank Math, le fichier robots.txt sera automatiquement créé sur votre site. Je vous conseille de le faire, c’est un outil indispensable et qui fait gagner énormément de temps.

Sinon, vous pouvez le créer manuellement :

• Installez sur votre ordinateur le logiciel Notepad++
• Créez un nouveau document sur Notepad++ et mettez-y ces quelques lignes :

Allow: /wp-content/uploads/
Allow: /wp-content/themes/

• Enregistrez ce fichier en le nommant robots.txt
• Connectez-vous en SFTP sur votre serveur en utilisant le logiciel Filezilla (demandez les identifiants pour vous connecter à votre serveur en SFTP à votre hébergeur)
• Glissez-déposez un votre fichier robots.txt à la racine de votre site

Il ne vous restera plus qu’à vérifier que le fichier est bien sur votre site en allant sur « votredomaine.com/robots.txt ».

Pour optimiser votre fichier robots.txt, il va falloir lui ajouter quelques lignes :

• Pour empêcher les robots de visiter des dossiers sensibles, ajoutez ceci à votre robots.txt :

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-json/

• Ensuite, ajoutez-y ceci pour éviter que les moteurs de recherche indexent certaines pages inutiles :

Disallow: /?s=
Disallow: /wp-login.php
Disallow: /wp-signup.php

• Indiquez l’URL de votre fichier sitemap :

Sitemap: https://votresite.com/sitemap_index.xml

Voici le fichier complet après optimisation :

Allow: /wp-content/uploads/
Allow: /wp-content/themes/
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-json/
Disallow: /?s=
Disallow: /wp-login.php
Disallow: /wp-signup.php
Sitemap: https://votresite.com/sitemap_index.xml

Vous avez besoin de faire certaines optimisations spécifiques ? Bloquer certains robots ? Dites-le-moi en commentaires pour que je vous indique les lignes à ajouter.