Polypharmacie : pourquoi un bon taux de réussite ne suffit pas
Sur 9 066 106 dossiers, un modèle estime le risque d'hospitalisation lié à la prise de nombreux médicaments. Le chiffre qui compte n'est pas celui qu'on regarde d'abord.
La question posée
Plus une personne prend de médicaments en même temps, plus les interactions et les effets indésirables deviennent probables. Le projet cherchait à estimer pour chaque personne le risque d'être hospitalisée à partir de ce que contiennent ses dossiers.
Le volume aide : 9 066 106 dossiers, c'est assez pour que le modèle voie des situations rares. Mais un grand volume ne dit rien, à lui seul, de la qualité d'un modèle.
Le piège du taux de réussite
Dans ce type de données, les personnes hospitalisées sont une minorité. Un modèle qui répondrait « non hospitalisé » à tout le monde aurait donc un excellent taux de réussite, tout en manquant chacune des personnes qu'on cherche à protéger.
C'est pourquoi nous ne jugeons jamais un tel modèle sur un seul pourcentage. Nous regardons séparément ce qu'il fait pour les personnes hospitalisées et pour les autres.
Un modèle se juge sur les personnes qu'il ne doit pas manquer, pas sur sa moyenne.
Regarder les deux populations
Le graphique du projet montre, pour chaque groupe, la probabilité que le modèle attribue à chaque dossier. Les personnes non hospitalisées se massent vers les probabilités basses, les personnes hospitalisées vers les hautes : le modèle sépare bien les deux.
Les erreurs se logent dans la zone où les deux groupes se chevauchent, autour du seuil. C'est là qu'il faut regarder de près, et c'est là que se joue la décision.
Le seuil se choisit avec ceux qui décident
Le seuil de 0,5 est un réglage par défaut, pas une décision médicale. À l'hôpital, manquer une personne à risque coûte plus cher qu'une alerte de trop. Le seuil se règle donc avec les soignants, selon ce que chaque erreur coûte, et il peut changer d'un service à l'autre.
À retenir
- Quand un groupe est rare, le taux de réussite global trompe.
- La distribution des probabilités dit plus qu'un pourcentage.
- Le seuil est une décision métier, prise avec ceux qui l'appliquent.