Techniques de scoring
Objectifs pédagogiques
Savoir construire un score pour la prédiction d’un phénomène binaire, depuis la phase d’échantillonnage jusqu’aux restitutions finales.
Programme détaillé
La formation propose un panorama des méthodes statistiques utilisées pour la production de scores – méthodes classiques issue de la Statistique (analyse discriminante, régression logistique) et méthodes plus « informatiques » (arbres de décision et forêts aléatoires). De nombreux exemples issus de différents secteurs d’activité illustreront ces méthodes. Le but est de présenter les techniques et les pièges de l’étude de données volumineuses, avec un objectif d’aide à la décision. Cette formation ne recourt que peu au formalisme mathématique. Les formations Classification supervisée : analyse discriminante, régression logistique et arbres avec R permettront aux statisticiens d’approfondir la théorie et la mise en œuvre des méthodes prédictives classiques. Les formations Machine Learning permettront d’approfondir la théorie et la mise en œuvre des méthodes prédictives avancées.
Présentation des techniques de scoring 1h
- Principales applications
- Panorama des techniques prédictives et descriptives employées
- Cycle d’un projet de scoring
Analyse descriptive 1h
- Graphiques utiles
- Caractérisation par des tests statistiques
- Gestion des données manquantes
Analyse discriminante 2h
- Principe de l’analyse discriminante linéaire
- Méthode DISQUAL et fonction de score
Régression logistique 3h
- Principe de la régression logistique
- Estimation des paramètres
- Interprétation des paramètres (odds ratios)
- Choix de variables
- Prévision
Arbres de décision 3h
- Construction d’un arbre
- Algorithmes CHAID, CART et C4.5
- Forêts aléatoires (random forests)
- Forces et faiblesses
Comparaison des méthodes de scoring 2h
- D’une probabilité à une décision
- Critères de performance (dont courbes ROC et lift)
- Procédures d’évaluation : apprentissage-test, validation croisée
Public visé
Data Scientists, chargés d’études statistiques, managers d’équipes utilisant des scores (risque bancaire, assurance, marketing, etc.)
Prérequis
Connaissances de base en calcul des probabilités et en statistique (test statistique, régression linéaire).
Approche pédagogique
Calculés à partir de 18 avis recueillis depuis 24/05/2017, lors de 3 sessions de cette formation.
Credit scoring : d'où vient le score, de l'analyse discriminante au score FICO
Un score résume en un nombre la probabilité qu’un événement binaire se produise : un emprunteur fera-t-il défaut, un client résiliera-t-il son contrat, un prospect répondra-t-il à une offre ? Le crédit à la consommation a été son premier terrain, et une bonne partie de ses méthodes et de son vocabulaire en vient.
1941 : l’analyse discriminante appliquée au crédit
En 1936, le statisticien Ronald Fisher propose l’analyse discriminante linéaire pour distinguer trois espèces d’iris à partir de quatre mesures de leurs fleurs. En 1941, David Durand, dans une étude du National Bureau of Economic Research sur les risques du crédit à tempérament, applique la même méthode aux dossiers de prêts pour séparer les « bons » des « mauvais » emprunteurs. L’idée de fond n’a pas changé : apprendre, sur des dossiers dont on connaît l’issue, une règle qui s’applique aux dossiers nouveaux.
De Fair Isaac à la régression logistique
En 1956, l’ingénieur Bill Fair et le mathématicien Earl Isaac fondent à San Francisco la société Fair, Isaac and Company, qui vend aux établissements de crédit des grilles de score. Aux États-Unis, l’Equal Credit Opportunity Act de 1974 pousse à leur adoption : une règle statistique écrite se justifie plus facilement qu’un jugement au cas par cas. En 1989, la société lance le score FICO, devenu la référence du crédit américain.
En France, Gilbert Saporta propose en 1975 la méthode DISQUAL, adaptée aux données de crédit, où la plupart des variables sont qualitatives (situation familiale, type de logement, ancienneté par tranches) : une analyse des correspondances multiples transforme ces variables en facteurs numériques, sur lesquels on applique l’analyse discriminante de Fisher. La régression logistique s’est ensuite imposée dans les banques, notamment parce que ses coefficients s’interprètent en rapports de cotes (odds ratios). Les arbres de décision (CHAID en 1980, CART en 1984, C4.5 en 1993) puis les forêts aléatoires (2001) ont élargi la palette.
Mesurer le pouvoir discriminant
Un score ne prend pas de décision : il classe. Pour juger s’il sépare bien les deux populations, on trace la courbe ROC et on calcule l’aire sous cette courbe (AUC), qui vaut 0,5 pour un score tiré au hasard et 1 pour un score parfait. Les banques expriment souvent la même information par le coefficient de Gini, égal à 2 × AUC − 1 : un score dont l’AUC vaut 0,75 a un Gini de 0,5. Le passage du score à la décision demande ensuite un seuil, qui dépend du coût respectif d’un mauvais payeur accepté et d’un bon client refusé.
Le scoring de crédit des particuliers fait partie des systèmes à haut risque au sens du règlement européen sur l’IA : voir Enjeux éthiques et juridiques de la donnée. La mise en œuvre détaillée des méthodes classiques sous R est l’objet de Classification supervisée : analyse discriminante, régression logistique et arbres avec R.
