Machine learning : bagging, gradient boosting, SVM avec Python
Prochaine session
4 et 5 décembre 2023
- Connaître et savoir mettre en œuvre les méthodes d’agrégation en régression et classification supervisée : bagging (random forest) et gradient boosting
- Connaître et savoir mettre en œuvre la méthode SVM en classification supervisée
- Savoir gérer empiriquement le risque de sur-apprentissage
- Connaître et savoir mettre en œuvre les méthodes d’agrégation en régression et classification supervisée : bagging (random forest) et gradient boosting
- Connaître et savoir mettre en œuvre la méthode SVM en classification supervisée
- Savoir gérer empiriquement le risque de sur-apprentissage
- Connaissances de base en machine learning (formation Les fondamentaux du Machine learning avec Python).
- Connaissances intermédiaires de Python (formation Python intermédiaire).
- Connaissances de base en machine learning (formation Les fondamentaux du Machine learning avec Python).
- Connaissances intermédiaires de Python (formation Python intermédiaire).
Data analysts, data scientists
Data analysts, data scientists
Rappels sur les bases du machine learning
Méthodes d’agrégation – bagging
- Rappels sur les arbres de régression et de décision (CART)
- Bagging
- Random forest
- Importance des variables
- Applications sur cas pratiques
Méthodes d’agrégation – gradient boosting
- Algorithme AdaBoost
- Principe du gradient boosting
- Quelques fonctions de coût classiques
- Applications sur cas pratiques
SVM
- Cas linéairement séparable
- Ajout de variables ressort (slack variables)
- Astuce du noyau
- Applications sur cas pratiques
Introduction aux réseaux de neurones
- Neurone formel
- Perceptron multicouche (MLP)
- Fonctions d’activation
Rappels sur les bases du machine learning
Méthodes d’agrégation – bagging
- Rappels sur les arbres de régression et de décision (CART)
- Bagging
- Random forest
- Importance des variables
- Applications sur cas pratiques
Méthodes d’agrégation – gradient boosting
- Algorithme AdaBoost
- Principe du gradient boosting
- Quelques fonctions de coût classiques
- Applications sur cas pratiques
SVM
- Cas linéairement séparable
- Ajout de variables ressort (slack variables)
- Astuce du noyau
- Applications sur cas pratiques
Introduction aux réseaux de neurones
- Neurone formel
- Perceptron multicouche (MLP)
- Fonctions d’activation
Les différentes bibliothèques Python pour le bagging, le gradient boosting et le SVM
En Python, voici quelques-unes des bibliothèques populaires pour réaliser du bagging, du gradient boosting et du SVM :
Bagging
scikit-learn: La bibliothèque scikit-learn propose une classe BaggingClassifier qui implémente l’algorithme de bagging pour la classification et la régression. Elle peut être utilisée avec différents classifieurs de base tels que les arbres de décision, les SVM, etc.
Gradient Boosting
XGBoost: XGBoost est une bibliothèque open-source de gradient boosting très performante. Elle fournit des classes pour la classification et la régression, telles que XGBClassifier et XGBRegressor, respectivement. XGBoost est connu pour sa rapidité et son efficacité dans la gestion de grands ensembles de données.LightGBM: LightGBM est une autre bibliothèque de gradient boosting légère et rapide. Elle est également utilisée pour la classification et la régression, offrant des performances élevées et une efficacité en termes de mémoire.
SVM (Support Vector Machines)
scikit-learn: Scikit-learn propose la classe SVC pour les machines à vecteurs de support (SVM) linéaires et non linéaires. Elle permet de réaliser à la fois la classification et la régression avec les SVM.LIBSVM: LIBSVM est une bibliothèque populaire pour les SVM, et il existe une interface Python appelée “svm” qui permet d’utiliser LIBSVM directement dans Python. Elle offre une grande flexibilité pour les SVM linéaires et non linéaires.
À noter : scikit-learn est une bibliothèque de machine learning polyvalente qui couvre une large gamme d’algorithmes, y compris le bagging, le gradient boosting et le SVM. Elle est largement utilisée et fournit une interface cohérente pour travailler avec différents algorithmes de machine learning.
Les différentes bibliothèques Python pour le bagging, le gradient boosting et le SVM
En Python, voici quelques-unes des bibliothèques populaires pour réaliser du bagging, du gradient boosting et du SVM :
Bagging
scikit-learn: La bibliothèque scikit-learn propose une classe BaggingClassifier qui implémente l’algorithme de bagging pour la classification et la régression. Elle peut être utilisée avec différents classifieurs de base tels que les arbres de décision, les SVM, etc.
Gradient Boosting
XGBoost: XGBoost est une bibliothèque open-source de gradient boosting très performante. Elle fournit des classes pour la classification et la régression, telles que XGBClassifier et XGBRegressor, respectivement. XGBoost est connu pour sa rapidité et son efficacité dans la gestion de grands ensembles de données.LightGBM: LightGBM est une autre bibliothèque de gradient boosting légère et rapide. Elle est également utilisée pour la classification et la régression, offrant des performances élevées et une efficacité en termes de mémoire.
SVM (Support Vector Machines)
scikit-learn: Scikit-learn propose la classe SVC pour les machines à vecteurs de support (SVM) linéaires et non linéaires. Elle permet de réaliser à la fois la classification et la régression avec les SVM.LIBSVM: LIBSVM est une bibliothèque populaire pour les SVM, et il existe une interface Python appelée “svm” qui permet d’utiliser LIBSVM directement dans Python. Elle offre une grande flexibilité pour les SVM linéaires et non linéaires.
À noter : scikit-learn est une bibliothèque de machine learning polyvalente qui couvre une large gamme d’algorithmes, y compris le bagging, le gradient boosting et le SVM. Elle est largement utilisée et fournit une interface cohérente pour travailler avec différents algorithmes de machine learning.
