Analyse exploratoire des données avec R
Objectifs pédagogiques
- Comprendre les enjeux de la réduction de dimension sur les individus (classification non supervisée, clustering) et sur les variables (analyse factorielle, dimension reduction)
- Comprendre et savoir mettre en œuvre les principales méthodes d’analyse factorielle, sur les variables quantitatives (ACP) et qualitatives (ACM).
- Comprendre et savoir mettre en œuvre les principales méthodes de clustering : CAH & K-means.
Programme détaillé
Les méthodes factorielles (ACP, AFC, ACM) permettent au travers de techniques de visualisation, de résumer, structurer et synthétiser les variables de tableaux de données volumineux. Les méthodes de classification non supervisée, ou clustering, permettent, en séparant les individus d’une population en groupes homogènes, de créer une typologie.
Analyse en composantes principales ACP 6h
- Inerties
- Recherche des axes principaux
- Composantes principales
- Analyse du nuage des individus
- Analyse du nuage des variables
- Interprétation des résultats.
Analyse factorielle des correspondances AFC 2h
- Nuages des profils-lignes et des profils-colonnes, distance du khi-deux
- Analyse des nuages des profils
- Liens entre les analyses lignes et colonnes
- Interprétation des résultats.
Analyse des correspondances multiples ACM 3h
- Analyse des correspondances sur le tableau disjonctif complet
- Propriétés de l’ACM
- Analyse du tableau de Burt
Classification non supervisée 7h
- Classification ascendante hiérarchique (CAH) : principe, stratégies d’agrégation, aides à l’interprétation
- Méthodes de partitionnement : K-means, PAM
- Classification mixte
Public visé
Data analysts, chargés d’études statistiques, data scientists
Prérequis
- Connaissances de base en statistiques descriptives (formation Statistiques descriptives avec R)
- Connaissances de base du logiciel R (formation R initiation)
- Notions de calcul matriciel souhaitables
Approche pédagogique
Calculés à partir de 20 avis recueillis depuis 07/04/2017, lors de 5 sessions de cette formation.
ACP, ACM et classification avec R : FactoMineR et les variables supplémentaires
Pour l’analyse factorielle et la classification, R dispose d’un package issu de l’école française d’analyse des données : FactoMineR, développé à Agrocampus Ouest (aujourd’hui l’Institut Agro Rennes-Angers) et présenté en 2008 dans le Journal of Statistical Software par Sébastien Lê, Julie Josse et François Husson. Sa force tient moins au calcul des axes qu’à l’aide à l’interprétation.
Une fonction par méthode
PCA() pour l’ACP, CA() pour l’AFC, MCA() pour l’ACM : chaque fonction renvoie coordonnées, contributions et qualités de représentation (cos²) des individus et des modalités, de quoi interpréter les axes sans recalcul. L’ACP est normée par défaut (scale.unit = TRUE).
library(FactoMineR)
acp <- PCA(pays, scale.unit = TRUE, quali.sup = 1, graph = FALSE)
afc <- CA(as.data.frame.matrix(table(enquete$region, enquete$diplome)), graph = FALSE)
acm <- MCA(enquete[, c("region", "diplome", "csp", "statut")], graph = FALSE)
Les éléments supplémentaires, une idée centrale
Les arguments quanti.sup et quali.sup déclarent des variables supplémentaires (ou illustratives) : elles ne participent pas à la construction des axes, mais sont projetées après coup pour aider à les lire. Dans l’exemple ci-dessus, la zone géographique (colonne 1) n’influence pas l’ACP mais permet de voir si les pays d’une même zone se regroupent sur le plan factoriel. Distinguer ce qui construit l’analyse de ce qui l’éclaire est l’un des réflexes de l’analyse des données à la française.
Classification : HCPC et le package cluster
HCPC() enchaîne, à partir d’une analyse factorielle, une classification ascendante hiérarchique avec le critère de Ward, une coupure de l’arbre (automatique avec nb.clust = -1) puis, par défaut, une consolidation par les K-means : c’est la classification mixte. Elle fournit aussi une description statistique de chaque classe par les variables et modalités qui la caractérisent.
cah <- HCPC(acp, nb.clust = -1, graph = FALSE)
cah$desc.var # variables qui caractérisent chaque classe
La CAH et les K-means existent aussi en R de base (hclust() sur une matrice de distances calculée par dist(), et kmeans()). La méthode PAM (Partitioning Around Medoids), qui résume chaque classe par un individu réel plutôt que par un centre de gravité, est dans le package cluster, issu de l’ouvrage de Kaufman et Rousseeuw Finding Groups in Data (1990). Pour des graphiques au format ggplot2, le package factoextra prend directement en entrée les résultats de FactoMineR.
L’analyse factorielle des correspondances trouve une application particulière dans l’analyse de textes : voir la statistique textuelle pour le text mining.
