Le fichier robots.txt : le gardien de votre site
Le fichier robots.txt est un simple fichier texte placé à la racine de votre site qui indique aux robots des moteurs de recherche quelles parties de votre site ils peuvent ou ne peuvent pas explorer. C’est la première chose que Googlebot consulte avant de crawler votre site.
📍 Où le trouver ?
Votre robots.txt est toujours accessible à : https://votresite.sn/robots.txt
Allez vérifier le vôtre maintenant — vous pourriez avoir des surprises.
Syntaxe de base du robots.txt
# Commentaire (ignoré par les robots)
# S’applique à tous les robots
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# S’applique uniquement à Googlebot
User-agent: Googlebot
Disallow: /recherche/
# Sitemap (toujours en dernier)
Sitemap: https://votresite.sn/sitemap_index.xml
Les directives expliquées
| Directive | Signification | Exemple |
|---|---|---|
User-agent |
Le robot ciblé (* = tous) | User-agent: Googlebot |
Disallow |
Interdit l’accès à un chemin | Disallow: /prive/ |
Allow |
Autorise un chemin (exception) | Allow: /prive/public.html |
Sitemap |
URL du sitemap XML | Sitemap: https://site.sn/sitemap.xml |
Crawl-delay |
Délai entre les requêtes (Bing) | Crawl-delay: 10 |
Robots.txt optimal pour WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /*?s=
Disallow: /tag/
Disallow: /author/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /wp-json/
Disallow: /?feed=
Sitemap: https://votresite.sn/sitemap_index.xml
Erreurs critiques à éviter
❌ Erreur N°1 : Bloquer tout le site
User-agent: *
Disallow: /
Cela bloque TOUT votre site. Souvent laissé par erreur après le développement. Vérifiez immédiatement !
❌ Erreur N°2 : Bloquer les fichiers CSS/JS
Google a besoin d’accéder aux CSS et JS pour rendre votre page. Ne les bloquez jamais.
❌ Erreur N°3 : Confondre robots.txt et noindex
Disallow empêche le crawl mais PAS l’indexation. Si une page a des backlinks, Google peut l’indexer sans la crawler. Utilisez la balise noindex pour empêcher l’indexation.
Tester votre robots.txt
- Google Search Console → Paramètres → robots.txt (rapport)
- Entrez une URL pour vérifier si elle est bloquée ou autorisée
- Corrigez les erreurs signalées
Exercice pratique
🎯 Vérifiez votre robots.txt en 10 minutes
- Ouvrez votresite.sn/robots.txt dans votre navigateur
- Vérifiez qu’il ne contient pas
Disallow: / - Vérifiez que le lien Sitemap est présent et correct
- Testez dans Google Search Console
- Comparez avec le modèle WordPress optimal ci-dessus
- Modifiez via votre plugin SEO (Yoast ou Rank Math) ou directement via FTP
