Syntaxe et règles de priorité
Le fichier se trouve obligatoirement à l'adresse /robots.txt de chaque hôte (un sous-domaine a le sien), encodé en UTF-8. Il se compose de groupes : une ligne User-agent désigne le robot visé (l'astérisque les désigne tous), suivie de lignes Disallow et Allow qui listent des chemins. Une ligne Sitemap peut indiquer l'adresse du sitemap XML.
Le protocole, normalisé par l'IETF dans la RFC 9309 en 2022, fixe des règles précises : la règle la plus spécifique, c'est-à-dire le chemin le plus long, l'emporte ; à longueur égale, Allow prime sur Disallow. Les robots doivent lire au moins 500 Kio du fichier et ne devraient pas conserver une copie en cache plus de 24 heures.
Ce que le robots.txt ne fait pas
Google le dit clairement : ce fichier n'est pas un moyen de garder une page hors de ses résultats. Pour désindexer une page, utilisez une balise noindex ou une protection par mot de passe, et laissez la page explorable, sinon Google ne verra jamais la balise. Le fichier n'est pas non plus une mesure de sécurité : il est public et révèle parfois des chemins sensibles comme /admin-2024/.
Quand le fichier répond mal
Le code de réponse compte autant que le contenu. Si /robots.txt renvoie une erreur 4xx, comme une 404, les robots considèrent qu'aucune restriction n'existe. S'il renvoie une erreur serveur 5xx, ils doivent supposer que tout le site est interdit. Une panne de configuration sur ce seul fichier peut donc stopper l'exploration de tout le site.
Robots.txt et robots d'intelligence artificielle
Les éditeurs d'IA publient leurs propres user-agents : GPTBot pour OpenAI, ClaudeBot pour Anthropic, PerplexityBot pour Perplexity. Chez Google, le jeton Google-Extended contrôle l'usage de vos contenus pour l'entraînement et l'ancrage de ses modèles hors de la recherche ; bloquer Google-Extended ne retire pas votre site des résultats ni des AI Overviews, qui dépendent de Googlebot.