Analyse et traitement des données manquantes

Face à un tableau incomplet, deux réflexes dominent : supprimer les individus qui ont au moins une valeur manquante, ce que font par défaut de nombreuses fonctions de modélisation comme lm() en R, ou remplacer chaque trou par la moyenne de la variable. Ces deux solutions ne sont sans danger que dans des cas particuliers, que la statistique a appris à nommer.

MCAR, MAR, MNAR : le cadre de Rubin

En 1976, Donald Rubin publie dans Biometrika un article qui fixe le vocabulaire encore employé aujourd’hui. Les données sont manquantes complètement au hasard (MCAR) si l’absence ne dépend de rien : un questionnaire égaré, un capteur en panne. Elles sont manquantes au hasard (MAR) si l’absence s’explique par des variables observées : les plus jeunes répondent moins souvent à une question sur leur revenu, mais, à âge égal, le fait de répondre ne dépend pas du revenu. Elles sont manquantes non au hasard (MNAR) quand l’absence dépend de la valeur manquante elle-même, par exemple si les hauts revenus taisent plus souvent leur revenu. Rubin montre que, sous l’hypothèse MAR et sous certaines conditions, on peut faire de l’inférence sans modéliser le mécanisme qui produit les valeurs manquantes, à condition d’exploiter toute l’information observée.

Ce que coûtent les solutions simples

Supprimer les lignes incomplètes n’est sans biais que si les données sont MCAR, hypothèse rarement plausible, et la perte d’effectif peut être considérable : avec vingt variables manquantes chacune à 5 %, indépendamment les unes des autres, il ne reste qu’environ 36 % de lignes complètes. L’imputation par la moyenne conserve toutes les lignes, mais elle écrase la variance de la variable et affaiblit ses corrélations avec les autres, puisque chaque valeur imputée est placée au centre de la distribution. Plus généralement, toute imputation simple traite les valeurs imputées comme si elles avaient été observées : les écarts-types et les intervalles de confiance calculés ensuite sont trop optimistes.

L’imputation multiple

Pour en tenir compte, Rubin a proposé l’imputation multiple, exposée dans un ouvrage de 1987 consacré à la non-réponse dans les enquêtes. On produit plusieurs tableaux complétés, dont les valeurs imputées sont tirées aléatoirement selon un modèle, on mène la même analyse sur chacun, puis on combine les résultats : la variabilité entre tableaux mesure l’incertitude due aux données manquantes, et les « règles de Rubin » l’ajoutent à la variance des estimations. En R, les packages de référence couvrent plusieurs familles de modèles d’imputation : équations chaînées (mice), modèle normal multivarié avec bootstrap (Amelia), forêts aléatoires (missForest), méthodes factorielles adaptées aux variables qualitatives et mixtes (missMDA). Avec mice, l’enchaînement tient en trois lignes :

library(mice)
imp <- mice(donnees, m = 20, seed = 123)   # 20 tableaux complétés
fits <- with(imp, lm(y ~ x1 + x2))         # même modèle sur chacun
summary(pool(fits))                        # combinaison par les règles de Rubin

Aucune méthode ne règle le cas MNAR sans hypothèse supplémentaire sur le mécanisme de non-réponse : on examine alors la sensibilité des conclusions à différentes hypothèses. Pour la non-réponse dans les enquêtes par sondage, traitée par repondération des répondants, voir Sondages 2 : méthodes de redressement.