SEO & Référencement

Tutoriel : Utiliser Screaming Frog pour auditer votre site

11 دقائق للقراءة

Pourquoi Screaming Frog est l’outil n°1 d’audit technique ?

Screaming Frog SEO Spider simule un Googlebot sur votre site et liste en quelques minutes ce qu’aucun œil humain ne pourrait détecter à la main : pages 404 cachées, titles dupliqués, redirections en cascade, images sans alt, pages orphelines. La version gratuite couvre jusqu’à 500 URLs — largement assez pour 90 % des sites PME au Sénégal — et c’est l’outil que tous les agences SEO sérieuses utilisent en première intention.

Ce que vous saurez faire à la fin

  • Installer Screaming Frog SEO Spider et lancer votre premier crawl en moins de 15 minutes
  • Détecter les 10 erreurs techniques qui pénalisent votre SEO (404, redirections, balises manquantes)
  • Exporter un rapport priorisé que votre développeur peut corriger la semaine suivante
  • Planifier un audit mensuel automatique pour surveiller votre site en continu
  • Comparer deux crawls pour mesurer l’impact réel de vos corrections

Prérequis

  • Un PC Windows, Mac ou Linux avec 4 Go RAM minimum (8 Go si site de +10 000 pages)
  • Java 11+ installé (inclus automatiquement dans l’installeur Windows/Mac)
  • L’URL de votre site à auditer et les identifiants de Google Search Console
  • Excel ou Google Sheets pour exploiter les exports

Étape 1 — Installer Screaming Frog

  1. Téléchargez la version gratuite sur screamingfrog.co.uk/seo-spider/
  2. Version gratuite : 500 URLs max, suffisant pour une PME de moins de 50 pages produit
  3. Licence payante : 259 EUR/an, illimité + fonctionnalités avancées (crawl JavaScript, Search Console, planification)
  4. Installez en standard, lancez l’application, acceptez les conditions

Étape 2 — Configurer le crawl avant de lancer

Une erreur classique : cliquer Start sans configurer. Vous perdez 30 minutes de crawl inutile. Configurez d’abord :

  • Configuration > Spider > Limits : limitez à 5 000 URLs pour un premier crawl exploratoire
  • Configuration > Spider > Advanced : cochez « Respect robots.txt »
  • Configuration > User-Agent : choisissez « Googlebot (Smartphone) » pour voir ce que Google voit vraiment
  • Configuration > Speed : 5 threads et 2 URLs/seconde sur un petit hébergeur sénégalais pour ne pas le saturer

Étape 3 — Lancer le crawl

Entrez l’URL complète avec https:// dans la barre en haut, cliquez Start. Sur un site de 500 pages sur hébergement mutualisé africain, comptez 5 à 15 minutes. Observez la barre de progression et le compteur d’URLs trouvées.

Étape 4 — Les 10 vérifications prioritaires à chaque audit

  1. Onglet Response Codes : filtrez sur 404 Not Found. Toute page 404 interne = lien cassé à corriger.
  2. Onglet Response Codes : filtrez sur 301/302. Une chaîne de plus de 2 redirections perd du jus SEO.
  3. Onglet Page Titles : filtrez « Missing » et « Duplicate ». Chaque page doit avoir un title unique de 50 à 60 caractères.
  4. Onglet Meta Description : « Missing » = Google génère une description aléatoire qui convertit mal.
  5. Onglet H1 : « Missing » ou « Multiple » = structure HTML incorrecte, mauvais signal à Google.
  6. Onglet Images : filtrez « Missing Alt Text ». Bloquant pour l’accessibilité et le SEO image.
  7. Onglet Images : filtrez « Over 100kb ». Chaque image lourde ralentit votre site sur les réseaux 3G sénégalais.
  8. Onglet Canonicals : « Missing » ou « Self Referencing » à vérifier. Un canonical incorrect cannibalise votre propre contenu.
  9. Onglet Directives : filtrez « Noindex ». Confirmez qu’aucune page importante n’est accidentellement bloquée.
  10. Onglet Internal Links : triez par « Unique Inlinks » ascendant. Les pages avec 0 ou 1 lien interne sont orphelines et invisibles.

Étape 5 — Exporter un rapport actionnable

Ne donnez jamais le crawl brut à votre dev : il se noie. Créez un fichier Excel priorisé.

  1. Dans chaque onglet problématique, cliquez Export
  2. Ouvrez dans Excel, ajoutez 3 colonnes : Priorité (1-3), Responsable, Échéance
  3. Règle de priorité : 404 internes = P1, images lourdes = P2, titles dupliqués = P1, H1 manquants = P2, orphelines = P3
  4. Envoyez à votre dev avec un délai de 2 semaines pour les P1

Étape 6 — Connecter Google Search Console (licence payante)

Gros gain de la licence : Screaming Frog croise votre crawl avec les données Search Console. Vous voyez instantanément les pages qui reçoivent des impressions Google mais performent mal.

Configuration > API Access > Google Search Console
→ Connectez votre compte
→ Relancez le crawl
→ Nouvelle colonne "GSC Clicks" apparaît

Étape 7 — Planifier un audit récurrent

En licence payante, dans File > Scheduling :

  1. Nouveau schedule hebdomadaire ou mensuel
  2. URL de départ + configuration sauvegardée
  3. Export automatique Excel sur un dossier Google Drive
  4. Email de notification à votre équipe SEO

Vous détectez ainsi en 24h toute régression : page qui passe en 404, balise qui disparaît, vitesse qui chute.

Étape 8 — Comparer deux crawls avant/après

Fonction « Crawl Comparison » : chargez le crawl d’il y a 30 jours et celui d’aujourd’hui. Visualisez :

  • Pages ajoutées
  • Pages supprimées
  • Pages dont le title a changé
  • Pages dont le code réponse a changé

Utilisation concrète : après un refonte, vous validez en 5 minutes qu’aucune page importante n’a été cassée.

Erreurs courantes

  • Crawler la preprod : risque d’indexer la preprod si elle est accessible. Toujours vérifier le robots.txt.
  • Ignorer le JavaScript : si votre site est en React/Vue, activez Configuration > Spider > Rendering = JavaScript.
  • Ne regarder que les erreurs : les avertissements (soft 404, long titles) comptent aussi.
  • Ne jamais refaire l’audit : un audit est une photo à l’instant T. Sans récurrence, le site dérive.

Prochaines étapes

  • Croiser avec PageSpeed Insights pour les pages Core Web Vitals dégradées
  • Utiliser Sitebulb ou Ahrefs pour une vision complémentaire (netlinking externe)
  • Automatiser avec l’API Screaming Frog pour intégrer dans votre CI/CD

Pour explorer plus loin

Étape 1 — Installer Screaming Frog SEO Spider et activer la licence si besoin

Téléchargez Screaming Frog SEO Spider depuis le site officiel (screamingfrog.co.uk). La version gratuite crawle jusqu’à 500 URLs par site, suffisant pour la majorité des sites vitrines ouest-africains de PME. Au-delà (500 à plusieurs millions d’URLs), la licence annuelle coûte environ 259 GBP soit ~200 000 FCFA au taux du jour.

Installation Windows, macOS ou Ubuntu disponible. Allouez au minimum 4 Go de RAM à l’application via Configuration > System > Memory Allocation pour éviter les freezes sur sites de plus de 5 000 URLs. Si vous travaillez depuis Dakar avec une connexion variable, prévoyez de crawler en heures creuses (nuit) pour éviter les timeouts. L’output : application lancée, prête à crawler.

Étape 2 — Configurer le user-agent et le respect des robots

Avant de lancer le crawl, paramétrez Screaming Frog pour ne pas se faire bannir par les WAF type Cloudflare ou Sucuri. Configuration > User-Agent : choisissez « Googlebot Smartphone » pour simuler le crawler de référence, ou conservez « Screaming Frog SEO Spider » si vous auditez votre propre site.

Configuration > Robots.txt : laissez « Respect robots.txt » coché par défaut. Pour un audit complet incluant les zones bloquées (utile pour vérifier qu’aucune page sensible n’est exposée), décochez temporairement et notez-le dans votre rapport. Configuration > Speed : 5 threads et 2 URLs/seconde par défaut suffisent pour ne pas surcharger un serveur mutualisé. Augmentez à 10 threads sur dédié.

Étape 3 — Lancer le premier crawl et lire les statuts HTTP

Saisissez l’URL racine (ex : https://votresite.sn) dans la barre du haut, cliquez Start. Le crawl commence : la barre de progression affiche les URLs trouvées et restantes. Sur un site de 1 000 pages avec 5 threads, comptez 10 à 20 minutes. Surveillez l’onglet Internal pendant le crawl pour repérer les anomalies en temps réel.

# Statuts HTTP à examiner en priorité
200 OK         → tout va bien
301/302        → vérifier qu'aucune chaîne longue >2 sauts
404 Not Found  → corriger ou rediriger en 301
410 Gone       → contenu supprimé volontairement
500/503        → erreur serveur, alerter l'hébergeur

L’output attendu : 95 % minimum de codes 200, zéro 5xx, moins de 5 % de 301 dans le total des liens internes. Au-delà de 5 % de 301 internes, vous gaspillez du budget de crawl Google.

Étape 4 — Auditer les balises title, meta description et h1

Cliquez sur l’onglet Page Titles. Filtres prêts à l’emploi en haut : Missing, Duplicate, Over 60 Characters, Below 30 Characters, Same as H1. Exportez chaque filtre en CSV via Bulk Export pour traitement dans Google Sheets. Une page sans title perd 30 à 50 % de son potentiel de clic en SERP.

Onglet Meta Description : mêmes filtres. Cible : 130 à 156 caractères, unique sur tout le site, contenant le mot-clé principal sans bourrage. Onglet H1 : aucune page ne doit avoir 0 ou 2+ h1. Si Screaming Frog détecte des pages avec deux h1, c’est souvent un thème WordPress mal configuré : contactez votre développeur ou modifiez le template.

Étape 5 — Détecter les pages orphelines et les liens cassés

Une page orpheline n’est liée par aucune autre page interne : Google la trouve difficilement et lui accorde peu de poids. Connectez Screaming Frog à votre Google Search Console (Configuration > API Access > Google Search Console) et à votre sitemap.xml (Configuration > Spider > Crawl Sitemaps). Relancez le crawl.

Onglet Internal > filtre All. Comparez le nombre d’URLs crawlées via les liens internes au nombre d’URLs présentes dans le sitemap et dans GSC. Les URLs présentes dans le sitemap mais absentes du crawl interne sont orphelines : ajoutez-leur des liens contextuels depuis vos pages piliers. Onglet Response Codes > 404 : exportez et corrigez chaque lien cassé via redirection 301 ou correction du lien source.

Étape 6 — Analyser la profondeur de clic et la structure du site

Une page accessible en 4 clics ou plus depuis l’accueil est considérée comme enterrée. Onglet Internal > tri par colonne « Crawl Depth ». Cible : 90 % des pages stratégiques en profondeur 1 à 3. Si votre page services principale est en profondeur 5, restructurez le menu ou ajoutez un lien depuis l’accueil.

Visualisez la structure via le menu Visualisations > Crawl Tree Graph ou Force-Directed Crawl Diagram. Vous obtenez un schéma visuel des hubs et des branches. Repérez les silos thématiques mal connectés : un cluster « WhatsApp Business » qui n’a aucun lien vers le cluster « WordPress » alors qu’ils partagent une audience PME ouest-africaine est un manque à gagner SEO.

Étape 7 — Auditer les images : alt manquants, poids, formats

Onglet Images. Filtres : Missing Alt Text, Over 100 KB, Alt Text Over 100 Characters. Une image sans alt n’est pas accessible aux lecteurs d’écran et perd toute chance d’apparaître dans Google Images. Exportez la liste, ouvrez en CSV, ajoutez une colonne « alt à écrire » et remplissez avec un descriptif factuel de 5 à 12 mots contenant le contexte.

Pour les images de plus de 100 KB, compressez avec Squoosh (squoosh.app) en WebP qualité 80 : gain typique 60 à 80 % de poids sans perte visible. Sur un site WordPress, le plugin Imagify ou ShortPixel automatise ce traitement. L’output : score Lighthouse mobile remonte de 5 à 15 points en performance après optimisation des images les plus lourdes.

Étape 8 — Vérifier le maillage interne et le PageRank interne

Configuration > Spider > Crawl Analysis cochez tout, puis Crawl Analysis > Start. Screaming Frog calcule alors un score de Link Score (équivalent PageRank interne sur 0 à 100) pour chaque URL. Onglet Internal > tri par Link Score décroissant : vous voyez quelles pages reçoivent le plus de jus interne.

Si une page secondaire (article de blog peu stratégique) reçoit plus de jus que votre page services principale, redistribuez les liens : retirez quelques liens internes vers la page secondaire, ajoutez-en vers la page services depuis vos articles à fort trafic. Cette technique seule a fait gagner 20 à 40 % de trafic organique sur des sites audités à Dakar et Abidjan.

Étape 9 — Exporter le rapport et planifier les corrections par priorité

Reports > Crawl Overview : génère un PDF synthétique. Reports > Issues Overview : liste tous les problèmes détectés classés par sévérité. Exportez aussi en CSV via Bulk Export > All Issues. Importez le tout dans un Google Sheets de suivi avec colonnes : URL, problème, sévérité, action, responsable, deadline, statut.

Priorité 1 (sous 7 jours) : 5xx, redirections en chaîne, pages stratégiques sans title. Priorité 2 (sous 30 jours) : 404 internes, alt manquants sur images de pages clés, meta descriptions dupliquées. Priorité 3 (sous 90 jours) : optimisation profondeur, redistribution PageRank interne, ajout de liens contextuels manquants. Tenez le tableau à jour, re-crawlez chaque mois pour mesurer le progrès.

Étape 10 — Programmer un crawl récurrent et alerter sur les régressions

Screaming Frog version payante propose la planification : File > Scheduling > Add. Configurez un crawl mensuel automatique avec export des rapports vers un dossier Google Drive synchronisé. Ajoutez une étape n8n ou Zapier qui compare le nombre de 404 du mois N au mois N-1 et envoie une alerte e-mail si l’écart dépasse 10 %.

Cette automation transforme l’audit ponctuel en veille SEO continue. Couplez avec la Google Search Console (rapport Couverture) et un outil de monitoring de positions (SerpRobot, AccuRanker) pour avoir une vue 360° du SEO de vos sites clients. Reliez ces audits à votre guide principal SEO et au accompagnement audit que vous proposez aux PME locales.

مشاركة
#crawl #screaming frog