Les fondamentaux du Machine learning avec R

La régression régularisée est née d’un problème très concret : quand les variables explicatives sont fortement corrélées entre elles, les moindres carrés produisent des coefficients instables, parfois de signe absurde. Trois articles, publiés entre 1970 et 2005, y ont apporté trois réponses complémentaires.

1970 : le ridge accepte un biais pour réduire la variance

Arthur Hoerl et Robert Kennard publient en 1970 dans Technometrics « Ridge regression: Biased estimation for nonorthogonal problems ». L’idée est de pénaliser la somme des carrés des coefficients, ce qui les rétrécit vers zéro. L’estimateur obtenu est biaisé, mais sa variance diminue fortement, et son erreur de prévision peut devenir plus faible que celle des moindres carrés. Renoncer à l’absence de biais pour gagner en stabilité : c’est l’arbitrage biais-variance, au cœur du machine learning.

1996 et 2005 : le lasso, puis l’elastic net

En 1996, Robert Tibshirani propose le lasso : la pénalité porte sur la somme des valeurs absolues des coefficients, et certains deviennent exactement nuls. Estimation et sélection de variables se font alors en une seule étape. Le lasso a cependant un défaut : parmi plusieurs variables très corrélées, il en retient une, de façon presque arbitraire, et écarte les autres. En 2005, Hui Zou et Trevor Hastie proposent l’elastic net, qui combine les deux pénalités et fait entrer ou sortir ensemble les variables corrélées (« effet de groupe »).

En 2010, Jerome Friedman, Trevor Hastie et Robert Tibshirani publient le package glmnet : par descente de coordonnées, il calcule d’un coup les solutions pour toute une grille de valeurs du paramètre de pénalité λ, le « chemin de régularisation ».

En pratique avec glmnet

library(glmnet)
x <- model.matrix(prix ~ ., data = train)[, -1]  # variables qualitatives codées en indicatrices
cv <- cv.glmnet(x, train$prix, alpha = 0.5)      # alpha = 0 : ridge ; 1 : lasso ; entre les deux : elastic net
plot(cv)                                         # erreur de validation croisée selon log(λ)
coef(cv, s = "lambda.1se")

Trois points d’attention. glmnet n’accepte pas de formule mais une matrice : model.matrix() se charge du codage des variables qualitatives. Il standardise par défaut les variables avant de les pénaliser (standardize = TRUE), puis rend les coefficients dans leur unité d’origine : sans cela, la pénalité dépendrait de l’unité de mesure de chaque variable. Enfin, lambda.min désigne la pénalité qui minimise l’erreur de validation croisée, lambda.1se la plus forte pénalité dont l’erreur reste à moins d’un écart-type de ce minimum : un modèle plus parcimonieux, à performance quasi équivalente. Cette « règle d’un écart-type » remonte à l’ouvrage de Breiman, Friedman, Olshen et Stone sur les arbres CART (1984).

La version logistique de ces pénalités est présentée dans Classification supervisée avec R. Pour enchaîner préparation des données, validation croisée et comparaison de modèles dans un même cadre, voir Pipeline de Machine Learning via Tidymodels en R.