ENSAI - Mastères Spécialisés Cours d'apprentissage statistique 2025-2026

Matériel pédagogique Présentation du cours. Pré-requis et rappels. Mathématiques pour le Machine Learning (MML): Polycopié du cours. Le polycopié (incomplet pour l'instant) sera remis à jour à chaque fin de semaine. La version actuelle est celle du: 11/10/2025. Livret d'exercices. Corrigé de certains exercices. Partie 1 : introduction au ML. Partie 2 : théorie de la décision statistique. Partie 3 : méthodes à base de partitions, k-ppv et arbres. TP1. Algorithme k-NN et arbres de décisions. Corrigé (Notebooks Python) : 1re partie : 2e partie : 3e partie : 4e partie : 5e partie : Partie 4 : Méthodes liées à la convexification : SVM, Boosting. TP2. Machines à vecteurs de support (SVM). Corrigé (Notebook Python) : Partie 5 : Méthodes d'agrégation : Bagging, Stacking, Boosting. Partie 6 : Introduction aux méthodes d'apprentissage non supervisé. TP3. Bagging, Stacking, Boosting et synthèse de toutes les méthodes. Corrigé (Notebook Python) : Partie 7 : Introduction aux réseaux de neurones ou économétrie et Machine Learning. Synthèse des méthodes d'apprentissage. Les diapositives font de nombreux emprunts aux cours et polycopiés en ligne, en particulier ceux de : Laurent Rouvière, Jean-Marc Lasgouttes, Laure Ferraris, Paul Liautaud, Herke van Hoof, Frédéric Sur, Peter Prettenhofer, Gilles Louppe, Magali Fromont. Et bien sûr l'ouvrage " An Introduction to Statistical Learning " de James, Witten, Hastie, Tibshirani, Taylor. Projet Machine Learning. Journal du cours Séance de cours 1 du 22/10/2025 : Cours chapitre 1. Présentation du cours, introduction au Machine Learning, fléau de la dimension. Cours chapitre 2. Théorie de la décision, prédicteur optimal de Bayes en classification binaire et régression, minimisation du risque empirique. Séance de cours 2 du 23/10/2025 : Cours chapitre 2. Minimisation du risque empirique (fin), dilemne biais / variance. TD : exercices 1, 2, 3, 4, 5, 6. À faire: relire le cours, finir les exercices. Séance de cours 3 du 12/11/2025 : Cours chapitre 3. Méthodes à base de partitions : k plus proches voisins et arbres de décision. Séance de cours 4 du 13/11/2025 : TP N°1 : méthodes à base de partition. Séance de cours 5 du 18/11/2025 : TP N°1 : méthodes à base de partition (fin). TD : exercice 11 (arbre de décision). Séance de cours 6 du 20/11/2025 : Cours chapitre 4. Méthodes liées à la convexification : convexification du risque, méthodes à noyaux, SVM, SVR. Séance de cours 7 du 02/12/2025 : Cours chapitre 4. Méthodes liées à la convexification (fin) : Boosting. Algorithmes Adaboost, gradient boosting et XGBoost. TD : exercice 16. Pourquoi Adaboost fonctionne ? Séance de cours 8 du 03/12/2025 : TP N°2 : SVM, SVR, Boosting. Séance de cours 9 du 03/12/2025 : Cours chapitre 5. Méthodes d'agrégation : Bagging, Boosting, forêts aléatoires, Stacking. Comparaisons des méthodes. Séance de cours 10 du 04/12/2025 : TP N°3 : Bagging, Boosting, Stacking.

.