Définition – Fichier robots.txt

Le fichier robots.txt est un fichier texte placé à la racine d’un site web, qui sert à donner des instructions aux robots d’indexation (comme ceux de Google, Bing, etc.) sur ce qu’ils peuvent ou ne peuvent pas explorer.
Il fait partie des fondamentaux techniques du SEO, car il permet de contrôler l’exploration du site, sans bloquer l’indexation (à ne pas confondre avec la balise noindex).

À quoi sert le fichier robots.txt ?

• Empêcher l’exploration de certaines pages ou dossiers (ex. : /wp-admin/, /cgi-bin/)
• Optimiser le budget crawl : éviter que les robots perdent du temps sur des contenus peu utiles
• Indiquer l’emplacement du sitemap XML
(via Sitemap: https://monsite.fr/sitemap.xml)