Calculateur AB test : significativité, p-valeur, échantillon
Saisissez les visiteurs et les conversions des variantes A et B. Le calculateur AB test indique si la différence est statistiquement significative, affiche l’uplift et l’intervalle de confiance, et calcule combien de visiteurs par variante un test fiable exigerait.
Exemple : Variante A : visiteurs 10 000 · Variante A : conversions 200 · Variante B : visiteurs 10 000 · Variante B : conversions 250 · Niveau de confiance: 95 % (standard) → Résultat : Significatif à 95 % : B convertit mieux que A (p = 0,0171).. Source : NIST/SEMATECH e-Handbook of Statistical Methods, 7.3.3: comparing two proportions (pooled z-test). Mise à jour : .
Comment le calcul est fait
Comment la significativité est calculée
Le calculateur utilise le test z de deux proportions (NIST/SEMATECH e-Handbook) : taux pA = conversions ÷ visiteurs, proportion groupée p = (cA + cB) ÷ (nA + nB) et z = (pB − pA) ÷ √(p(1 − p)(1/nA + 1/nB)). La p-valeur bilatérale est la probabilité d’observer une différence au moins aussi grande s’il n’y avait aucun effet réel.
Exemple
| Visiteurs | Conversions | Taux | |
|---|---|---|---|
| A | 10 000 | 200 | 2,00 % |
| B | 10 000 | 250 | 2,50 % |
Uplift de 25 %, z = 2,38, p = 0,0171 : significatif à un niveau de confiance de 95 %. La vraie différence se situe, avec 95 % de confiance, entre +0,09 et +0,91 point de pourcentage.
Taille d’échantillon d’un AB test
n par variante = (z1−α/2·√(2p̄(1 − p̄)) + z1−β·√(pA(1 − pA) + pB(1 − pB)))² ÷ (pB − pA)². Pour détecter 2,0 % contre 2,5 % avec 95 % de confiance et 80 % de puissance, il faut environ 13 800 visiteurs par variante ; pour 2,0 % contre 2,2 %, environ 80 700.
Erreurs fréquentes
- Regarder les résultats en cours de test : s’arrêter dès que le résultat paraît significatif augmente les faux positifs.
- Tests sous-dimensionnés : de petits écarts exigent de très grands échantillons.
- Tester plusieurs variantes ou indicateurs sans ajuster le seuil de significativité.
Questions fréquentes
Comment savoir si un AB test est significatif ?
Quand la p-valeur est inférieure à votre seuil, en général 0,05 (95 % de confiance). Un écart aussi grand a alors peu de chances d’être dû au hasard.
Comment calculer la significativité d’un AB test ?
Avec un test z de deux proportions : z = écart des taux de conversion ÷ erreur standard groupée, puis conversion de z en p-valeur. Le calculateur fait les deux.
Combien de temps un AB test doit-il durer ?
Jusqu’à ce que chaque variante atteigne la taille d’échantillon calculée au départ, et au moins une semaine entière pour lisser les effets des jours de la semaine.
Quelle taille d’échantillon faut-il pour un AB test ?
Elle dépend de votre taux de départ et de l’uplift à détecter. Pour 2,0 % → 2,5 % avec 95 % de confiance et 80 % de puissance : environ 13 800 visiteurs par variante.
Qu’est-ce que la puissance statistique ?
La probabilité de détecter un effet qui existe réellement. 80 % est l’objectif habituel, utilisé ici pour la taille d’échantillon.
Sources et références juridiques
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.3.3: comparing two proportions (pooled z-test)
- D. Zhang, ST 520 Statistical Principles of Clinical Trials, Ch. 6: Sample Size Calculations (two proportions)
Dernière mise à jour : · Principes éditoriaux
Outils similaires
- Calcul du taux de conversionCalculer le taux de conversion à partir des visiteurs et des conversions, avec panier moyen et chiffre d’affaires par visiteur – ou le trafic nécessaire.
- Calcul de la p-valueCalcul de la p-value à partir d’un score z, d’une statistique t ou du khi-deux, ou directement par test de Student : valeur critique et intervalle de confiance.
- Calcul du ROASCalculer le ROAS en coefficient et en pourcentage, l’ACOS, le CPA et le ROAS minimum (break-even) selon votre marge – formules Google Ads et Amazon Ads.
- Calcul de la LTV client (Customer Lifetime Value)Calculer la LTV client (CLV) selon panier moyen, fréquence d’achat, durée de vie ou churn et marge – avec CAC, ratio LTV:CAC et durée d’amortissement.
- Calcul CPM, CPC et CTRCalculer le CPM, le CPC et le taux de clic (CTR) à partir des coûts, impressions et clics – ou à l’inverse le budget, les impressions et les clics.
- Calcul de margeCalculer une marge en ligne : marge commerciale, taux de marque, taux de marge et coefficient multiplicateur à partir du prix d’achat HT et du prix de vente HT.
- Calcul du taux horaire d'un artisanCalcul taux horaire artisan et prestataires : taux horaire HT à facturer selon salaire, charges, frais généraux et marge. Gratuit.
- Calculateur de prix de revient moyenCalculateur prix de revient moyen : saisissez jusqu’à cinq achats avec quantité et cours et obtenez le prix de revient moyen pondéré et le total investi.
- Calculateur de points de baseCalculateur points de base : convertissez des points de base (pb) en pourcentage et inversement, calculez une variation de taux en pb et la valeur monétaire.