Évaluation et performance
Nous ne publions aucune métrique de performance du prédictif tant qu'elle n'est pas validée. Cette page décrit comment le modèle est évalué et quelles sont ses limites actuelles.
Comment le modèle est évalué
Point | Réponse |
|---|---|
Jeu de test | Tiré au hasard de façon stratifiée : les trois classes y ont les mêmes proportions que dans les données d'apprentissage |
Population du test | Des clients ayant répondu à l'enquête |
Sortie évaluée | Des probabilités par classe, pas une note |
Schéma (version texte)
Clients ayant répondu → Séparation stratifiée
Séparation stratifiée → Apprentissage
Séparation stratifiée → Test
Apprentissage → Modèle
Modèle → Évaluation sur le test
Test → Évaluation sur le test
Ce que nous ne publions pas
Élément | Statut |
|---|---|
Valeurs d'AUC, de précision, de couverture | Non publiées ; aucun repère validé à ce jour |
Calibration des probabilités | Non calculée par le pipeline d'évaluation |
Repère « bonne performance » ou comparaison entre organisations | Non disponible |
Limites à connaître
Limite | Ce que cela implique |
|---|---|
Évaluation sur répondants | La performance sur des clients n'ayant pas répondu n'est pas mesurée à ce jour, et aucune correction du biais de non-réponse n'est appliquée |
Équilibre des classes | Le résultat dépend de l'effectif de la classe la moins représentée : peu de détracteurs réduit l'information pour apprendre cette classe |
Garde-fou | Aucun avertissement automatique ne signale un effectif trop faible |
Portée | Un bon résultat de prédiction ne dit rien de plus que la prédiction ; l'effet d'une action se mesure par un test avec groupe témoin |
Le rééquilibrage des classes est une option d'entraînement, appliquée au seul jeu d'apprentissage.