Analyse exploratoire des données avec SAS
Objectifs pédagogiques
- Comprendre les enjeux de la réduction de dimension sur les individus (classification non supervisée, clustering) et sur les variables (analyse factorielle, dimension reduction)
- Comprendre et savoir mettre en œuvre les principales méthodes d’analyse factorielle, sur les variables quantitatives (ACP) et qualitatives (ACM).
- Comprendre et savoir mettre en œuvre les principales méthodes de clustering : CAH & K-means.
Programme détaillé
Les méthodes factorielles (ACP, AFC, ACM) permettent au travers de techniques de visualisation, de résumer, structurer et synthétiser les variables de tableaux de données volumineux. Les méthodes de classification non supervisée, ou clustering, permettent, en séparant les individus d’une population en groupes homogènes, de créer une typologie.
Analyse en composantes principales ACP 6h
- Inerties
- Recherche des axes principaux
- Composantes principales
- Analyse du nuage des individus
- Analyse du nuage des variables
- Interprétation des résultats.
Analyse factorielle des correspondances AFC 2h
- Nuages des profils-lignes et des profils-colonnes, distance du khi-deux
- Analyse des nuages des profils
- Liens entre les analyses lignes et colonnes
- Interprétation des résultats.
Analyse des correspondances multiples ACM 3h
- Analyse des correspondances sur le tableau disjonctif complet
- Propriétés de l’ACM
- Analyse du tableau de Burt
Classification non supervisée 7h
- Classification ascendante hiérarchique (CAH) : principe, stratégies d’agrégation, aides à l’interprétation
- Méthodes de partitionnement : K-means, PAM
- Classification mixte
Public visé
Data analysts, chargés d’études statistiques, data scientists
Prérequis
- Connaissances de base en statistiques descriptives (formation Statistiques descriptives avec SAS)
- Connaissances de base du logiciel SAS (formation SAS initiation)
- Notions de calcul matriciel souhaitables
Approche pédagogique
Calculés à partir de 8 avis recueillis depuis 01/04/2016, lors de 2 sessions de cette formation.
ACP, ACM et classification avec SAS : les procédures de l'analyse exploratoire
SAS/STAT réunit toutes les méthodes de l’analyse exploratoire des données, mais sous des noms de procédures qui ne disent pas toujours leur rôle. Petit guide de correspondance entre les méthodes et les procédures, avec une stratégie propre à SAS pour classer de gros fichiers.
Méthodes factorielles : PRINCOMP et CORRESP
L’analyse en composantes principales (ACP) relève de PROC PRINCOMP. Par défaut, elle travaille sur la matrice des corrélations, c’est-à-dire sur des variables centrées-réduites : c’est l’ACP normée, celle qu’on utilise dès que les variables ne sont pas dans la même unité. L’option COV donne l’ACP non normée.
proc princomp data=pays out=scores n=3;
var pib_hab esperance_vie taux_chomage inflation dette;
run;
L’analyse factorielle des correspondances (AFC) et l’analyse des correspondances multiples (ACM) passent toutes deux par PROC CORRESP. La différence tient à l’instruction TABLES : une virgule sépare la variable en lignes de la variable en colonnes pour une AFC ; une simple liste de variables, avec l’option MCA, fait construire à SAS le tableau de Burt et lance une ACM.
proc corresp data=enquete outc=coord; /* AFC */
tables region, diplome;
run;
proc corresp data=enquete mca outc=coord; /* ACM sur le tableau de Burt */
tables region diplome csp statut;
run;
Classification : CLUSTER, TREE et FASTCLUS
La classification ascendante hiérarchique (CAH) se fait en deux temps : PROC CLUSTER construit l’arbre selon la stratégie d’agrégation choisie (METHOD=WARD, AVERAGE, SINGLE…), puis PROC TREE trace le dendrogramme et coupe l’arbre en un nombre de classes donné (NCLUSTERS=). Les K-means relèvent de PROC FASTCLUS.
Gros fichiers : la classification mixte
La CAH devient vite coûteuse en temps de calcul quand le nombre d’individus augmente, parce qu’elle compare toutes les paires d’individus. La documentation de SAS suggère alors de commencer par une partition en de nombreuses petites classes avec FASTCLUS, puis de mener la CAH sur les centres de ces classes avec CLUSTER. Une consolidation finale par FASTCLUS, en partant des classes retenues sur l’arbre, complète cette stratégie dite mixte. On combine ainsi la rapidité des K-means et la lisibilité de l’arbre hiérarchique.
Ces méthodes sont dites non supervisées : elles décrivent la structure des données sans variable à prédire. Lorsque les classes sont connues à l’avance et qu’il s’agit d’y affecter de nouveaux individus, on passe à la classification supervisée avec SAS.
