Applied Statistical Learning

Objectif

L’objectif de ce cours est de présenter les techniques et approches de l’apprentissage statistique qui sous-tendent les algorithmes les plus performants de l’intelligence artificielle. Il s’inscrit dans la continuité du cours Theoretical Foundations of Machine Learning, enseigné en deuxième année, ainsi que du cours Introduction à l’apprentissage statistique, proposé en septembre aux étudiants intégrant l’ENSAE directement en troisième année. On supposera donc que les notions abordées dans ces enseignements sont bien acquises, afin de se concentrer sur des éléments importants qui n’ont pas encore été traités.

L’objectif principal est de familiariser les étudiants avec des méthodes et techniques couramment utilisées en apprentissage automatique, telles que l’optimisation stochastique, les méthodes à noyau reproduisant, les techniques d’agrégation, les réseaux résiduels et les transformers. Si le temps le permet, nous aborderons également la modélisation générative (autoencodeurs, réseaux antagonistes génératifs et méthodes de débruitage par diffusion).

Plan

Chapitre 1 : Rappels des notions principales de l'apprentissage supervisé

• Fonction de perte, risque et prédicteur de Bayes
• Régression aux moindres carrés, modèle linéaire
• Classification binaire, modèle logistique
• Sur-apprentissage et sous-apprentissage, comment diagnostiquer 

Chapitre 2 : Phénomènes importants 

• Surapprentissage bénin 
• Efficacité de l'optimisation stochastique

Chapitre 3 : SVM et méthodes à noyau

Chapitre 4 : Bagging et XGBoost

• Agrégation de prédicteurs par bagging
•  Forêts aléatoires
• XGBoost    

Chapitre 5 :  Compléments sur les réseaux de neurones

• Rappels des architectures et des techniques d'entrainement
• Dropout et normalisation par batch
• Réseaux résiduels
• Méchanismes d'attention et transformers

Chapitre 6 (optionnel) : Modèles génératifs

• Auto-encodeurs variationnels
• Réseaux antagonistes génératifs
• Modèle probabiliste de débruitage par diffusion (DDPM)

Références

• C. Bishop. Pattern Recognition and Machine Learning. Springer 2006. This is an excellent introduction to machine learning. Contains lots of exercises, some with exemplary solutions. 
• R. Duda, P. Hart, and D. Stork. Pattern Classification. John Wiley & Sons, second edition, 2001. The classic introduction to the field. 
• Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep learning. MIT Press, 2016.
• Mohri, Mehryar, Afshin Rostamizadeh, and Ameet Talwalkar. Foundations of machine learning. MIT press, 2018.
• L. Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. This book is a compact treatment of statistics that facilitates a deeper understanding of machine learning methods. 
• K. Murphy. Machine Learning: A Probabilistic Perspective. MIT, 2012. Unified probabilistic introduction to machine learning. 
• S. Shalev-Shwartz, and S. Ben-David. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press, 2014. This recent book covers the mathematical foundations of machine learning. Available for personal use online: Link.