■  Fichier robots.txt

Le fichier robots.txt est un fichier texte qui contient des instructions s'adressant aux robots qui parcourent le web. Ces instruction leur indiquent les pages qu'ils peuvent accéder, et celles qui leur sont interdites. 

Par exemple, vous pourriez indiquer aux robots de ne pas accéder le répertoire "PagesPerso" de votre site.  Vous pouvez donc vous créer un fichier de ce type et le transférer sur le serveur de votre site.

Voici un exemple de fichier robots.txt:

User-agent: *
Disallow: /PagesPerso/

Dans cet exemple, un robot qui accédera votre site ira rechercher tous les fichiers et pages de votre site, sauf ceux du répertoire "PagesPerso". Attention toutefois, tous les robots ne respectent pas le contenu de votre fichier robots.txt et accèdent quand même le contenu de tous vos répertoires.

Si vous désirez que les robots aient accès à tout le contenu de votre site, voici un exemple de fichier robots.txt:

User-agent: *
Disallow:

Le site http://www.robotstxt.org/ donne tous les détails du fonctionnement de ce fichier.

Lorsque ce fichier sera transféré sur votre serveur, vous serez prêt à soumettre votre site aux engins de recherche