User-agent:* Disallow:/sanctuaire/ Disallow:/com/ #User-agent: * Tous les moteurs sont concernés #User-agent: Googlebot Le spider de Google est concerné uniquement #Disallow: Tout est indexé. Identique à un fichier robots.txt inexistant #Disallow:/ Toutes les pages et répertoires du site ne sont pas indexés #Disallow:/index2.html index2.html situé à la racine du site n'est pas indexé #Disallow:/rep rep.html s'il existe n'est pas indexé ainsi que le répertoire rep #Disallow:/rep/ La totalité du répertoire rep n'est pas indexée #Disallow:/rep/index.html index.html situé dans le répertoire rep n'est pas indexé # commentaires Vos commentaires doit être précédé d'un # #4. Régles et précautions #a) Il doit exister un seul fichier robots.txt sur l'ensemble de votre site. Il doit être situé à la racine de votre site #b) L'astérisque (*) n'est acceptée que dans le champ User-agent #c) Vous devez créer plusieurs sections User-agent si vous souhaitez que votre fichier robots.txt s'applique à différents moteurs de recherche #d) Le nom du fichier (robots.txt) doit être écrit impérativement en minuscule. #e) Il n'existe pas de champs Allow: #f) Transférez votre fichier robots.txt en mode ASCII.