Générateur de robots.txt

À quoi sert le fichier robots.txt

Le robots.txt est un fichier texte placé à la racine de votre domaine, par exemple https://www.votre-site.fr/robots.txt. Il indique aux robots d'exploration les parties du site qu'ils peuvent parcourir et celles qu'ils doivent laisser de côté. Chaque groupe de règles commence par une ou plusieurs lignes User-agent, qui désignent les robots concernés, suivies de lignes Disallow (interdit) et Allow (autorisé).

Point essentiel : le robots.txt contrôle l'exploration, pas l'indexation. Une page bloquée peut quand même apparaître dans Google si d'autres pages font des liens vers elle, simplement sans description. Pour retirer une page des résultats, il faut une balise meta robots noindex, et laisser la page accessible pour que le robot puisse lire cette balise.

Comment utiliser le générateur

• Choisissez un modèle de départ : tout autoriser, WordPress (qui ferme l'administration et les pages de recherche interne) ou tout bloquer pour un site de préproduction.
• Décidez de votre position vis-à-vis des robots d'IA. Le générateur ajoute pour vous le groupe de règles correspondant.
• Ajustez les groupes : un chemin par ligne, en commençant par une barre oblique. L'astérisque sert de joker, le signe dollar marque la fin d'une URL.
• Ajoutez l'adresse complète de votre sitemap XML, puis copiez le fichier ou téléchargez-le et déposez-le à la racine du site.

Robots d'IA : entraînement ou réponses

Tous les robots d'IA ne font pas la même chose. Certains collectent des pages pour entraîner des modèles : GPTBot chez OpenAI, ClaudeBot chez Anthropic, Google-Extended pour les modèles Gemini, Applebot-Extended, CCBot pour Common Crawl. D'autres viennent chercher une page au moment où quelqu'un pose une question, pour y répondre et citer la source : OAI-SearchBot et ChatGPT-User, Claude-SearchBot et Claude-User, PerplexityBot et Perplexity-User.

Bloquer les robots d'entraînement n'a pas d'effet sur votre référencement Google : Google-Extended ne concerne pas la recherche. En revanche, bloquer les robots de réponse revient à disparaître des réponses de ces assistants, qui ne peuvent plus lire ni citer vos pages. Si votre visibilité dans les réponses IA compte, l'option du milieu est souvent la bonne.

Les erreurs les plus fréquentes

• Laisser en ligne le Disallow: / de la préproduction : le site entier disparaît progressivement de Google.
• Bloquer les fichiers CSS et JavaScript, alors que Google en a besoin pour afficher la page comme un visiteur.
• Bloquer une page pour la désindexer : le robot ne voit plus la balise noindex et l'URL peut rester dans les résultats.
• Oublier que les chemins sont sensibles à la casse : /Blog/ et /blog/ sont deux règles différentes.
• Déposer le fichier dans un sous-dossier. Il doit être à la racine, et chaque sous-domaine a le sien.