■ Fichier robots.txt


	sujet
	Nom de domaine
	Hébergement
	Logiciel création site
	Page index.html
	Transfert des fichiers
	Adresses email
	Contenu
	Fureteurs
	Optimisation
	Balises
	images
	Robots
	Engins de recherche
	outils webmasters
	Annuaires et répertoires
	Barre outils Google
	Liens entrants
	Statistiques
	contenu - encore!
	rentabiliser votre site
	liste de diffusion
	feed Rss

Le fichier robots.txt est un fichier texte qui contient des instructions s'adressant aux robots qui parcourent le web. Ces instruction leur indiquent les pages qu'ils peuvent accéder, et celles qui leur sont interdites.

Par exemple, vous pourriez indiquer aux robots de ne pas accéder le répertoire "PagesPerso" de votre site. Vous pouvez donc vous créer un fichier de ce type et le transférer sur le serveur de votre site.

Voici un exemple de fichier robots.txt:

User-agent: *
Disallow: /PagesPerso/

Dans cet exemple, un robot qui accédera votre site ira rechercher tous les fichiers et pages de votre site, sauf ceux du répertoire "PagesPerso". Attention toutefois, tous les robots ne respectent pas le contenu de votre fichier robots.txt et accèdent quand même le contenu de tous vos répertoires.

Si vous désirez que les robots aient accès à tout le contenu de votre site, voici un exemple de fichier robots.txt:

User-agent: *
Disallow:

Le site http://www.robotstxt.org/ donne tous les détails du fonctionnement de ce fichier.

Lorsque ce fichier sera transféré sur votre serveur, vous serez prêt à soumettre votre site aux engins de recherche

■ ACCUEIL ■ Contact ■