Faux positif en A/B testing
Écrit par B. Bathelot, modifié le 17/12/2018Glossaires : E-commerce et conversion A/B testing web / e-commerce
Dans le contexte des procédures d'A/B testing ou dans celui des tests MVT, le terme de faux positif désigne le fait de considérer comme gagnante une version testée alors que dans la réalité la version ainsi élue par la plateforme et le responsable de test n'est pas plus performante que la version d'origine.
Le phénomène du faux positif peut notamment être dû à un biais méthodologique ou à un échantillon de test insuffisant. Il peut également tout simplement correspondre au fait que souvent les tests sont analysés avec un indice de confiance de 95% et qu'il y a donc alors 5% de chances d'être en présence d'un faux positif.
L'existence d'un faux positif peut être coûteuse puisqu'elle conduit souvent à retenir une version de page ou d'email finalement moins performante que la version d'origine. On retrouve le même danger pour les faux négatifs.
Proposer une modification