Comprendre l à b testing en 3 minutes

Ce que vous saurez faire à la fin

1. Formuler une hypothèse A/B testable au format scientifique avec métrique primaire et seuil de succès.
2. Choisir l’outil A/B test adapté à votre PME : VWO, Convert, AB Tasty ou alternatives gratuites depuis l’arrêt de Google Optimize.
3. Calculer la taille d’échantillon nécessaire et la durée minimale du test selon votre trafic.
4. Interpréter correctement la p-value, l’intervalle de confiance et la puissance statistique.
5. Déployer un premier A/B test sur un site e-commerce sénégalais en moins d’une semaine.

Durée : 5h pour le setup initial puis 14 jours pour la collecte. Pré-requis : site web avec minimum 5 000 visiteurs uniques mensuels (ou 30 000 MAU sur app), outil analytics (Google Analytics 4 gratuit), accès au code ou à un CMS modifiable, budget de 0 à 60 000 FCFA/mois selon l’outil choisi.

Étape 1 — Comprendre l’A/B testing en 3 minutes

Un A/B test compare deux versions (A = contrôle, B = variante) d’un même élément pour mesurer laquelle performe mieux sur une métrique précise. Pour une PME e-commerce sénégalaise, c’est l’arme antidote au « je pense que » : au lieu de débattre du libellé d’un bouton (Acheter vs Commander vs Payer maintenant), vous laissez les vrais utilisateurs trancher avec leur clic. Bien fait, l’A/B testing améliore les conversions de 5 à 30% sans toucher au produit.

Étape 2 — Différencier A/B test, multivariate et test bayésien

L’A/B classique compare deux variantes sur une seule variable (couleur du bouton). Le test multivariate (MVT) compare plusieurs variables en simultané (couleur + libellé + position) et exige beaucoup plus de trafic. Le test bayésien fournit une probabilité directe (variante B a 92% de chances d’être meilleure) et accepte des échantillons plus petits que le test fréquentiste classique. Pour démarrer, restez sur le A/B fréquentiste, c’est le standard et le plus simple à expliquer.

Étape 3 — Que faire depuis l’arrêt de Google Optimize

Google Optimize a fermé en septembre 2023, laissant un vide pour les PME au budget limité. Voici le tableau des alternatives 2026 avec tarifs convertis en FCFA pour vous repérer rapidement.

Comparatif outils A/B testing 2026
===================================
Outil          | Gratuit | Entrée/mois | Cible
---------------|---------|-------------|---------------
VWO            | Essai   | 99 USD      | PME / scale-up
                                ~60 000 F
Convert        | Essai   | 99 USD      | PME / agence
                                ~60 000 F
AB Tasty       | Non     | sur devis   | Grandes entrep.
                                ~300 000 F
Optimizely     | Non     | sur devis   | Enterprise
Kameleoon      | Non     | sur devis   | Enterprise
GrowthBook     | Oui     | open source | Tech savvy
Statsig        | 1M      | 0 F (free)  | Startups produit
PostHog        | 1M      | 0 F (free)  | SaaS / produit

Recommandation PME e-commerce Sénégal : VWO ou Convert
Recommandation budget zéro : Statsig ou PostHog
Recommandation app mobile uniquement : Statsig ou Firebase A/B

Étape 4 — Adopter une démarche hypothesis-driven

Une hypothèse mal formulée donne un test inutile. Utilisez ce template canonique inspiré de la méthode scientifique. Une bonne hypothèse contient un constat, une prédiction et une métrique mesurable.

Template hypothèse A/B test
============================
Constat (data) :
  Sur la fiche produit, 65% des visiteurs scrollent
  sans cliquer sur Ajouter au panier.

Hypothèse :
  Si je change le bouton "Ajouter au panier" en
  "Commander pour 12 500 FCFA" (avec le prix visible),
  alors le taux d'ajout au panier va augmenter
  car le prix rassure le visiteur sénégalais
  qui se méfie des frais cachés.

Métrique primaire :
  Taux de clic sur le bouton (CTR bouton).

Métrique secondaire :
  Taux de conversion final (achat).

Seuil de succès :
  +10% relatif sur le CTR avec p-value < 0,05.

Risque (guardrail) :
  Pas de baisse de la conversion finale > 5%.

Étape 5 — Choisir une seule métrique primaire

Le piège des débutants est de tester avec 5 métriques. Vous trouverez toujours une significativité quelque part par hasard. Choisissez UNE métrique primaire (la plus proche du business : achat, inscription, demande de devis), et 2 à 3 secondaires en observation. Acceptez que certaines variantes améliorent le CTR mais cassent la conversion finale : c’est pour cela qu’on garde un guardrail métrique.

Étape 6 — Calculer la taille d’échantillon nécessaire

Sans calcul de sample size, vous lancez un test à l’aveugle. Voici les paramètres à estimer avant de commencer : taux de conversion actuel (baseline), taille d’effet minimal détectable (MDE), niveau de confiance (95% standard), puissance statistique (80% standard). Pour aller vite, utilisez les calculateurs gratuits VWO ou Optimizely Sample Size Calculator.

Exemple calcul sample size
===========================
Baseline : 3% de conversion actuelle
MDE : +15% relatif (vise 3,45%)
Confiance : 95% (alpha = 0,05)
Puissance : 80% (beta = 0,20)

Résultat calculateur :
  Échantillon nécessaire : 14 200 visiteurs
                           par variante
  Total : 28 400 visiteurs

Si trafic actuel = 7 000 visiteurs/semaine
  Durée minimale du test : 4 semaines

Règle d'or : ne JAMAIS arrêter le test
avant d'atteindre l'échantillon prévu.

Étape 7 — Interpréter la p-value sans se tromper

La p-value mesure la probabilité d’observer un résultat au moins aussi extrême sous l’hypothèse nulle (les variantes sont identiques). Si p < 0,05, vous rejetez l’hypothèse nulle et concluez que la différence est statistiquement significative. ATTENTION : p < 0,05 ne dit PAS « B est mieux à 95% ». Cette confusion fait perdre des millions à des marketeurs mal formés. La bonne lecture : « Si A et B étaient identiques, on observerait ce résultat dans moins de 5% des cas, donc on accepte que B est probablement différent. »

Étape 8 — Comprendre la puissance statistique et MAU

La puissance statistique (typiquement 80%) est la capacité du test à détecter un effet réel s’il existe. Une puissance faible donne des « faux négatifs » : le test ne voit pas la différence alors qu’elle est réelle. Pour les apps mobiles, la métrique MAU (Monthly Active Users) conditionne tout : avec 5 000 MAU, vous ne pouvez tester que des effets énormes (plus de 30%). Avec 100 000 MAU, vous détectez des effets de 3 à 5%.

Étape 9 — Éviter le peeking et la corruption de données

Le peeking consiste à regarder les résultats avant la fin du test et à arrêter dès que p < 0,05 apparaît. Cette pratique multiplie les faux positifs par 3 ou 4. Engagez-vous à ne consulter les résultats qu’après la durée prévue. De même, évitez de lancer un test pendant un événement exceptionnel (Black Friday, Magal de Touba, fin du Ramadan) qui fausse les comportements.

Étape 10 — Setup technique avec VWO en 30 minutes

Créez un compte VWO essai 30 jours. Installez le snippet JavaScript dans la balise head de votre site (via Google Tag Manager si possible). Créez votre première campagne A/B en pointant l’URL de la fiche produit. Utilisez l’éditeur visuel pour modifier le libellé du bouton sans toucher au code. Définissez le goal (clic sur le bouton ou achat). Activez le test à 50/50 et lancez.

Snippet d'installation type (head HTML)
========================================
<script type="text/javascript">
  window._vwo_code = window._vwo_code || (function(){
    var account_id = 123456,
    settings_tolerance = 2000,
    library_tolerance = 2500,
    use_existing_jquery = false;
    // ... (snippet officiel VWO complet ici)
  }());
</script>

Vérification :
1. Ouvrir le site en navigation privée
2. Inspecter la console : pas d'erreur _vwo
3. Vérifier dans VWO Dashboard que les visites
   sont bien comptées dans Variation A et B

Étape 11 — Cas concret : e-commerce textile à Dakar

Une boutique en ligne de wax à Dakar avait 8 000 visiteurs uniques par mois et un taux de conversion de 1,2%. Hypothèse : afficher « Livraison gratuite à Dakar dès 25 000 FCFA d’achat » en bandeau orange en haut du site augmentera la conversion. Test lancé sur 4 semaines, 16 000 visiteurs total. Résultat : variante B à 1,7% (versus A à 1,2%), p = 0,03, gain relatif +41%, soit environ 320 000 FCFA de revenus mensuels supplémentaires. Coût du test : 60 000 FCFA d’abonnement VWO. ROI immédiat.

Étape 12 — Cas où l’A/B testing ne convient pas

L’A/B testing n’est pas magique. Il ne sert à rien si votre trafic est inférieur à 5 000 visiteurs uniques mensuels (vous n’aurez jamais la puissance). Il est inadapté pour tester des changements stratégiques (refonte complète, nouveau modèle économique). Il ne remplace pas la recherche utilisateur qualitative pour comprendre le pourquoi. Avant tout A/B test, posez-vous la question : ai-je vraiment le trafic et un effet attendu suffisamment grand ?

Étape 13 — Pipeline d’expérimentation continue

Les meilleures équipes produit testent en permanence. Construisez un backlog d’hypothèses (minimum 30 idées priorisées avec le scoring ICE : Impact, Confidence, Ease, sur 10). Tournez 2 à 4 tests par mois. Documentez tous les résultats (gagnés, perdus, non concluants) dans un Notion ou un Google Sheet. Au bout de 12 mois, votre culture data sera transformée.

Template scoring ICE backlog hypothèses
========================================
Hypothèse                    | I  | C  | E  | Score
-----------------------------|----|----|----|------
Bouton "Commander" + prix    | 8  | 7  | 9  | 8.0
Témoignages clients home     | 6  | 5  | 7  | 6.0
Suppression du captcha       | 9  | 6  | 4  | 6.3
Bandeau livraison gratuite   | 9  | 8  | 9  | 8.7
Wave + Orange Money en home  | 7  | 7  | 6  | 6.7
Vidéo produit 30 sec         | 5  | 4  | 3  | 4.0

Priorité : score > 7 lancé en premier
Test bandeau livraison gratuite : score 8.7
Test bouton + prix : score 8.0

Étape 14 — Communiquer les résultats à l’équipe

Un test sans communication ne change rien à la culture. Préparez un compte rendu standard d’1 page par test : hypothèse, métrique, durée, échantillon, résultat brut, p-value, décision (déployer, abandonner, ré-itérer). Partagez en réunion bimensuelle. Célébrez aussi les hypothèses fausses : elles évitent de gaspiller du dev en production.

Erreurs classiques à éviter

• Erreur : Arrêter le test dès qu’on voit p < 0,05. Ce peeking corrompt les données et multiplie les faux positifs par 3 à 4.
• Erreur : Tester sans hypothèse claire. Vous obtiendrez un résultat ininterprétable et personne ne saura quoi en faire.
• Erreur : Lancer 5 tests simultanés sur la même page. Les variantes interagissent, les résultats deviennent inexploitables.
• Erreur : Tester sur un échantillon trop petit. Avec moins de 1 000 conversions par variante, votre puissance est insuffisante.
• Erreur : Ignorer les guardrails. Améliorer le CTR de 30% en cassant la conversion finale est une fausse victoire.
• Erreur : Tester sur des micro-changements. Une couleur de bouton qui passe du bleu au bleu-vert ne donnera jamais d’effet détectable.
• Erreur : Confondre corrélation et causalité. Ce n’est pas parce que B convertit mieux pendant le test que B est universellement meilleur.

Checklist A/B testing

✓ Trafic minimum (5 000 visiteurs/mois) vérifié
✓ Outil A/B testing choisi et installé
✓ Hypothèse formulée au format Constat / Si-Alors / Métrique
✓ Métrique primaire unique définie
✓ Métriques secondaires et guardrails listés
✓ Sample size calculé via outil (VWO ou similaire)
✓ Durée minimale calculée et respectée
✓ Test lancé en 50/50 sans biais de segmentation
✓ Aucun changement code en parallèle pendant le test
✓ Aucun événement exceptionnel pendant le test
✓ Pas de peeking (engagement écrit de l'équipe)
✓ Résultat lu après atteinte de l'échantillon
✓ p-value < 0,05 ET intervalle confiance vérifié
✓ Compte rendu 1 page rédigé et partagé
✓ Décision tranchée : déployer, abandonner, ré-itérer