Qu'est-ce que robots.txt ?

Le fichier robots.txt est un fichier texte placé à la racine du site (/robots.txt) qui indique aux robots de crawl quelles pages et dossiers ils peuvent ou non consulter. C'est le premier fichier lu par tout crawler avant d'explorer le site. Une erreur de configuration peut bloquer l'indexation de l'intégralité du site — ou, à l'inverse, autoriser des bots indésirables.

Contrairement au noindex (qui demande à Google de ne pas indexer une page qu'il a déjà lue), robots.txt empêche le robot de lire la page. Si une page est bloquée dans robots.txt, Google ne peut pas voir la balise noindex qu'elle contient — paradoxalement, elle peut rester indexée si elle est découverte via un lien externe.

Syntaxe et directives

Les 3 directives

Directives supplémentaires

Ordre de priorité

1. La directive la plus spécifique l'emporte (ex. Disallow: /admin/secrets/ bat Allow: /admin/).
2. Si aucune directive ne matche, l'accès est autorisé par défaut.
3. Un User-agent: nom-specifique bat un User-agent: * pour ce robot.

Les bots IA à autoriser (2026)

Pour le GEO, il est essentiel d'autoriser les crawlers des moteurs IA. Voici la liste complète des user-agents à connaître :

Par défaut : si votre robots.txt ne mentionne pas un bot, il est autorisé (à condition de ne pas avoir de User-agent: * avec Disallow: /). Le problème n'est pas d'oublier d'autoriser, c'est de bloquer par inadvertance.

Les 6 règles d'or

Exemples concrets

robots.txt minimal (recommandé pour YperLine)

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /tmp/

Sitemap: https://yperline.net/sitemap.xml

robots.txt avec blocage sélectif

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /tmp/
Disallow: /images/
Disallow: /assets/

# Bloquer un seul bot spécifique (ex. un bot de scraping agressif)
User-agent: BadBot
Disallow: /

Sitemap: https://yperline.net/sitemap.xml

robots.txt avec autorisation explicite des bots IA (défensive)

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /tmp/

# Autorisation explicite (redondante si pas de Disallow global, mais sécurise)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: MicrosoftPreview
Allow: /

Sitemap: https://yperline.net/sitemap.xml

Note : l'autorisation explicite est redondante si vous n'avez pas de Disallow: / global. Elle est utile comme documentation et comme filet de sécurité si quelqu'un ajoute un Disallow: / par erreur dans le futur.

Les 5 erreurs qui coûtent cher

Vérifier son robots.txt

1. Accès direct : taper https://yperline.net/robots.txt dans le navigateur. Le fichier doit s'afficher en texte brut (content-type text/plain).
2. Google Search Console → « Paramètres » → « Robots.txt Tester » : coller une URL et vérifier si elle est autorisée ou bloquée.
3. Log serveur : vérifier que les bots IA visitent le site. Filtrer les logs sur GPTBot, PerplexityBot, Google-Extended. Si aucune requête dans les 7 derniers jours, soit le bot ne vous a pas encore visité, soit il est bloqué.
4. Test inversé : sur Perplexity, taper le nom de votre marque. Si des pages apparaissent, le bot a bien crawlé.

Checklist robots.txt

Pour le sitemap (complémentaire), voir Sitemap XML : guide complet. Pour le GEO (pourquoi les bots IA comptent), voir Guide GEO. Pour la vue d'ensemble du SEO technique, voir SEO technique.