Comment crée un fichier robots.txt pour wordpress

Wordpress est un Cms très populaire contient des fichier et des dossiers sensible comme wp-admin et wp-includes qui ne devraient pas être indexés par mesure de sécurité.

Grace au fichier robots.txt optimisé pour WordPress, on spécifier aux  moteurs de recherche les dossiers et les fichier qui ne devraient pas être indexés,il contient une liste de commande spécifique destinee au spiders d’indexation des moteurs de recherche ,ce fichier doit être unique se trouve obligatoirement à la racine de votre site Internet et il est accessible via cette adresse : www.votresite.com/robots.txt.

Nb: Tous les moteurs de recherche commencent l’exploration d’un site en cherchant le fichier robots.txt à cette adresse. Si le fichier n’existe pas, le robot commence son indexation à partir de l’adresse par laquelle il est arrivé.

Voici un fichier robots.txt optimisé pour un site Internet ou blog réalisé sur WordPress.

User-agent: * # On empêche l'indexation des dossiers sensibles Disallow: /cgi-bin Disallow: /wp-login.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /category/*/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*? # On empêche l'indexation des fichiers sensibles User-agent: Googlebot Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.gz$ Disallow: /*.swf$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ # Autoriser Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Autoriser Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # On indique au spider le lien vers notre sitemap Sitemap: http://www.votresite.com/sitemap.xml