Classer ses clients par valeur d'achat : comparer les modèles avant de choisir
Sur 133 clients jamais vus pendant l'entraînement, 109 bonnes réponses, soit 82 %. Lire la matrice des erreurs dit lequel garder.
Deux groupes de clients
Le projet classait les clients en deux groupes : ceux dont la valeur d'achat dépasse 300, et les autres. Savoir à l'avance dans quel groupe tombe un client permet de lui proposer la bonne offre au bon moment.
Juger sur des clients jamais vus
Un modèle se mesure sur des données qu'il n'a pas vues pendant son entraînement. Ici, 133 clients de test : 109 sont classés correctement, 71 dans le groupe le plus modeste et 38 dans le groupe au-dessus de 300.
Nous comparons toujours les modèles candidats sur ces mêmes données de test, avec les mêmes règles. Sinon, on compare des chances, pas des modèles.
Un score global départage mal deux modèles ; leurs erreurs, elles, les départagent.
Toutes les erreurs ne se valent pas
La matrice montre les 24 erreurs. Quinze clients ont été placés au-dessus de 300 alors qu'ils n'y sont pas ; neuf clients au-dessus de 300 ont été manqués.
Selon l'usage, ce ne sont pas les mêmes coûts. Une offre envoyée à tort coûte peu ; un client de grande valeur oublié peut coûter beaucoup. Entre deux modèles proches, nous gardons celui qui commet le moins l'erreur qui coûte le plus.
À retenir
- Mesurer sur des données jamais vues, les mêmes pour tous les modèles.
- Lire la matrice des erreurs, pas seulement le pourcentage.
- Choisir le modèle selon l'erreur qui coûte le plus au métier.