Classification supervisée : analyse discriminante et régression logistique avec SAS
Objectifs pédagogiques
- Connaître l’ensemble des méthodes de référence permettant de répondre au problème de discrimination (également appelé classification supervisée) : analyse discriminante, régression logistique.
- Être capable de définir et de calculer des critères permettant de comparer les performances de modèles.
- Savoir mettre en œuvre les principales méthodes de classification supervisée.
Programme détaillé
La formation traite de modèles adaptés à la prévision de phénomènes qualitatifs en fonction de variables quantitatives et qualitatives.
Présentation du problème de la classification supervisée 3h
- Cadre statistique
- Critères de performance
- Approche scoring
Analyse discriminante linéaire 3h
- Approche descriptive
- Approche prédictive
- Analyse discriminante quadratique
- Applications sur cas pratiques
Régression logistique 6h
- Présentation du modèle
- Estimation des paramètres et tests
- Sélection de modèle
- Introduction aux méthodes pénalisées (ridge et lasso)
- Applications sur cas pratiques
Public visé
Data analysts, chargés d’études statistiques, data scientists
Prérequis
- Connaissances de base en statistiques descriptives (formation Statistiques descriptives avec SAS).
- Connaissances de base en statistique inférentielle (formation Statistique inférentielle : estimation ponctuelle, intervalle de confiance et test statistique).
- Connaissances de base du logiciel SAS (formation SAS initiation).
Approche pédagogique
Classification supervisée avec SAS : de l'analyse discriminante de Fisher à PROC LOGISTIC
Prédire l’appartenance d’un individu à un groupe (client qui fera défaut ou non, espèce d’une plante, profil de risque) est l’un des plus anciens problèmes de la statistique. Avec SAS, deux procédures en couvrent les méthodes de référence : PROC DISCRIM pour l’analyse discriminante, PROC LOGISTIC pour la régression logistique.
Fisher, les iris et PROC DISCRIM
L’analyse discriminante linéaire a été formalisée en 1936 par Ronald Fisher dans un article des Annals of Eugenics, illustré par des mesures de fleurs d’iris recueillies par le botaniste Edgar Anderson. Ces données sont toujours livrées avec SAS, dans la table SASHELP.IRIS, et permettent de reproduire l’analyse en quelques lignes :
proc discrim data=sashelp.iris method=normal pool=test crossvalidate;
class species;
var sepallength sepalwidth petallength petalwidth;
run;
L’option POOL=TEST teste l’égalité des matrices de variance-covariance des groupes : si elle est rejetée, SAS passe de l’analyse discriminante linéaire à l’analyse quadratique. CROSSVALIDATE estime le taux d’erreur par validation croisée plutôt que sur les données qui ont servi à construire la règle, une estimation trop optimiste. Les variables de l’instruction VAR doivent être quantitatives.
PROC LOGISTIC : modèle, sélection et courbe ROC
La régression logistique accepte des variables explicatives quantitatives et qualitatives (instruction CLASS). PROC LOGISTIC réunit l’estimation, les tests, la sélection de variables et les critères de performance, comme la courbe ROC et l’aire sous la courbe (AUC) :
proc logistic data=apprentissage plots(only)=roc;
class statut / param=ref;
model defaut(event='1') = age revenu anciennete statut
/ selection=stepwise slentry=0.05 slstay=0.05;
score data=test out=test_score;
run;
L’option event='1' précise la modalité dont on modélise la probabilité : sans elle, SAS modélise par défaut la plus petite valeur, ici l’absence de défaut, ce qui inverse le signe de tous les coefficients.
Et la pénalisation ?
La régression logistique pénalisée par le lasso n’est pas proposée par PROC LOGISTIC. Dans SAS/STAT, elle est disponible dans PROC HPGENSELECT (instruction SELECTION METHOD=LASSO, avec une loi binaire).
Les arbres de décision et les forêts aléatoires ne sont pas traités dans cette formation SAS ; ils figurent au programme de ses équivalents en R et en Python.
