Machine learning : bagging, gradient boosting, SVM avec R
Objectifs pédagogiques
- Connaître et savoir mettre en œuvre les méthodes d’agrégation en régression et classification supervisée : bagging (random forest) et gradient boosting
- Connaître et savoir mettre en œuvre la méthode SVM en classification supervisée
- Savoir gérer empiriquement le risque de sur-apprentissage
Programme détaillé
Rappels sur les bases du machine learning 1h
Méthodes d’agrégation – bagging 3h
- Rappels sur les arbres de régression et de décision (CART)
- Bagging
- Random forest
- Importance des variables
- Applications sur cas pratiques
Méthodes d’agrégation – gradient boosting 3h
- Algorithme AdaBoost
- Principe du gradient boosting
- Quelques fonctions de coût classiques
- Applications sur cas pratiques
SVM 3h
- Cas linéairement séparable
- Ajout de variables ressort (slack variables)
- Astuce du noyau
- Applications sur cas pratiques
Introduction aux réseaux de neurones 2h
- Neurone formel
- Perceptron multicouche (MLP)
- Fonctions d’activation
Public visé
Data analysts, data scientists
Prérequis
- Connaissances de base en machine learning (formation Les fondamentaux du Machine learning avec R).
- Connaissances intermédiaires du logiciel R (formation R intermédiaire).
Approche pédagogique
Indicateurs de satisfaction
Calculés à partir de 85 avis recueillis depuis 28/06/2016, lors de 10 sessions de cette formation.
Les différents packages R pour le bagging, le gradient boosting et le SVM
En R, voici quelques-uns des packages populaires pour réaliser du bagging, du gradient boosting et du SVM :
Bagging
-
randomForest: Le package “randomForest” met en œuvre l’algorithme de forêt aléatoire, qui est une méthode de bagging utilisant des arbres de décision. Il est utilisé pour la classification et la régression. -
adabag: Le package “adabag” propose des algorithmes de bagging adaptatif pour la classification. Il fournit des variantes de bagging comme Bagging with Adaptive Boosting (AdaBag), Bagging with Bayesian Adaptive Boosting (BayesBag), etc.
Gradient Boosting
-
xgboost: Le package “xgboost” implémente l’algorithme de gradient boosting extrêmement performant, connu pour sa rapidité et sa précision. Il est utilisé pour la classification et la régression. -
gbm: Le package “gbm” fournit une implémentation de l’algorithme de gradient boosting généralisé pour la régression et la classification. Il permet de créer des modèles basés sur des arbres de décision.
SVM (Support Vector Machines)
-
e1071: Le package “e1071” propose une implémentation des machines à vecteurs de support (SVM) pour la classification et la régression. Il fournit des fonctionnalités avancées pour le réglage des hyperparamètres et la personnalisation des modèles SVM. -
LiblineaR: Le package “LiblineaR” fournit une interface R pour la bibliothèque Liblinear, qui implémente des SVM linéaires pour la classification et la régression.
Certains packages tels que randomForest et xgboost peuvent également être utilisés pour la classification et la régression, et pas seulement pour le bagging ou le gradient boosting.
