Régression linéaire et analyse de la variance avec SAS
Objectifs pédagogiques
- Comprendre et savoir mettre en œuvre un modèle de régression linéaire.
- Savoir mesurer la qualité et la performance d’un modèle de régression.
- Comprendre et savoir mener une analyse de la variance à un ou deux facteurs.
Programme détaillé
La formation traite de modèles entrant dans le cadre du modèle linéaire général (GLM), pour modéliser des phénomènes quantitatifs.
Régression linéaire simple 4h
- Point de vue descriptif : méthode des moindres carrés (MCO)
- Point de vue inférentiel : validation et qualité du modèle
- Généralisation du modèle en prévision
- Applications sur cas pratiques
Régression linéaire multiple 10h
- Estimation et validation du modèle
- Sélection de modèles : sélections backward, forward ou stepwise à l’aide des critères AIC, BIC ou Cp de Mallows
- Traitements des variables explicatives qualitatives
- Evaluation de la qualité prédictive d’un modèle
- Applications sur cas pratiques
Analyse de la variance à un facteur 2h
- Le modèle à effets fixes, tests de comparaisons multiples, analyse de la variance non paramétrique
- Applications sur cas pratiques
Analyse de la variance à deux facteurs et plus 2h
- La notion d’interactions
- Utilisation de variables quantitatives et qualitatives dans le cadre du modèle linéaire général (analyse de la covariance)
- Applications sur cas pratiques
Public visé
Data analysts, chargés d’études statistiques
Prérequis
- Connaissances de base en statistiques descriptives (formation Statistiques descriptives avec SAS).
- Connaissances de base en statistique inférentielle (formation Statistique inférentielle : estimation ponctuelle, intervalle de confiance et test statistique).
- Connaissances de base du logiciel SAS (formation SAS initiation).
Approche pédagogique
Régression et ANOVA avec SAS : REG, GLM ou GLMSELECT ?
Régression linéaire et analyse de la variance relèvent du même modèle linéaire général. SAS les répartit pourtant entre plusieurs procédures, et le choix de la bonne procédure dépend surtout d’une question : le modèle contient-il des variables explicatives qualitatives ?
REG pour les variables quantitatives, GLM pour les autres
PROC REG est la procédure historique de la régression : estimation, diagnostics des résidus, prévision, sélection de variables. Elle n’a pas d’instruction CLASS : une variable qualitative doit y entrer sous forme d’indicatrices construites à la main. PROC GLM accepte directement les variables qualitatives et couvre la régression, l’analyse de la variance à un ou plusieurs facteurs, les interactions et l’analyse de la covariance. Les comparaisons multiples de moyennes s’y demandent en une option :
proc glm data=salaires;
class diplome;
model salaire = diplome;
lsmeans diplome / pdiff adjust=tukey;
run;
Quand l’hypothèse de normalité est douteuse, l’analyse de la variance non paramétrique de Kruskal et Wallis s’obtient avec PROC NPAR1WAY et l’option WILCOXON.
Sélection de variables : GLMSELECT et ses critères
PROC GLMSELECT automatise les sélections forward, backward et stepwise, y compris avec des variables qualitatives. Le critère qui décide d’ajouter ou de retirer une variable (SELECT=) peut être distinct de celui qui désigne le modèle final (CHOOSE=) :
proc glmselect data=salaires plots=criteria;
class diplome sexe;
model salaire = experience anciennete diplome sexe
/ selection=stepwise(select=sbc choose=cp);
run;
Ces critères ont chacun leur histoire : le Cp de Colin Mallows (publié en 1973 dans Technometrics), l’AIC d’Hirotugu Akaike (1973) et le critère bayésien de Gideon Schwarz (1978). Tous arbitrent entre la qualité d’ajustement et le nombre de paramètres, mais le critère de Schwarz pénalise plus fortement les grands modèles et retient en général moins de variables.
Un piège de vocabulaire : BIC ou SBC ?
Dans GLMSELECT, le mot-clé BIC ne désigne pas le critère de Schwarz, appelé BIC dans la plupart des manuels et des logiciels, mais le critère bayésien de Sawa (1978). Le critère de Schwarz y porte le nom de SBC. C’est d’ailleurs lui qui pilote la sélection par défaut de la procédure.
Pour modéliser une variable qualitative (défaut de paiement, résiliation…) plutôt qu’une variable quantitative, voir la classification supervisée avec SAS.
