article(s) dans votre panier VOIR

Le fichier robots.txt

  • Vidéo 32 sur 57
  • 3h31 de formation
  • 57 leçons

Un contenu flash devrait s'afficher ici. Votre navigateur ne comporte pas de plugin flash, ou il ne s'est pas correctement initialisé.

Vous pouvez télécharger le plugin flash depuis le site d'Adobe à l'adresse suivante : http://get.adobe.com/flashplayer/.

Pour accéder à la suite de cette formation, vous devez vous abonner.
previous
summary
resume
next
play
Le fichier robots.txt
00:00 / 03:06
HD
fullscreen
Je m’abonne
à partir de 16,6 € / mois
  • Visionnage en ligne
  • Accès illimité à toutes nos formations
OU
J'achète uniquement
la formation
69,00€
  • Téléchargement + VOD à vie
  • Accès uniquement à cette formation

Sommaire de la formation

Détails de la formation

Intéressons-nous maintenant au fichier robot.txt dans ce chapitre de la formation SEO dédié à la structure et à la conception d’un site web. Ce fichier va indiquer au moteur de recherche les endroits où il ne doit pas aller. Lorsque que Googlebot arrive sur votre site, il va aller lire ce fichier à la racine. Pour le lire, il vous suffit de d’ajouter « /robots.txt » à la fin de votre adresse URL. Ce fichier texte va donner un certain nombre d’indications. Il indique donc aux spiders les endroits où il ne doit pas aller sur votre site. La première ligne « User Agent : » indique à qui s’adressent les directives du fichier. S’il est précédé d’une étoile, cela veut dire qu’il s’adresse à tous les spiders. A la place de cette étoile, vous pouvez par exemple inscrire Googlebot ou Bingbot. La plupart du temps, dans 95 voire 99% des cas, on met « User Agent :* » pour que ce qui va suivre s’adresse à tous les moteurs de recherche. Ce document peut être crée avec un éditeur de texte simple. Pour le créer et le maintenir à jour vous devez avoir accès à la racine de votre site pour y uploader ce type de fichier. Attention aux erreurs d’inattention comme « User Agent :* Disallow : », car cette syntaxe autorise l’accès aux moteurs de recherche à tout votre site sans restrictions. Ou bien encore comme « User Agent :* Disallow:/ » qui interdit alors totalement l’accès à votre site web aux spiders.