Estimation non paramétrique

Objectif

Ce cour propose une introduction à l'estimation non paramétrique. On abordera les méthodes non paramétriques standards pour l'estimation de densité (estimateurs à noyaux, projection sur une base de Fourier ou d'ondelettes) et pour la régression (estimateurs à polynômes locaux, estimateur de Nadaraya-Watson, estimateurs par projections). Nous conclurons sur une analyse statistique d'un modèle génératif, les réseaux antagonistes génératifs (ou GAN).

Nous insisterons à chaque fois sur les garanties non-asymptotiques sur le risque des estimateurs rencontrés, dépendant de la régularité de l'objet étudié (mesuré dans un espace de Hölder ou de Sobolev). 

Plan

Les thèmes suivants seront abordés :

• Estimateurs à noyaux et par projection d'une densité. Validation croisée. Vitesses de convergence.
• Estimation non-paramétrique de la fonction de régression. Estimateurs par polynômes locaux, par projection (bases de Fourier, bases d'ondelettes). Vitesses de convergence.
• Théorie de l'approximation : espaces de Sobolev, de Hölder, de Besov
• Modèles génératifs via réseaux antagonistes génératifs.

Références

L. Devroye: A Course in Density Estimation. Birkhauser, Boston, 1987.

E. Giné, R. Nickl: Mathematical Foundations of Infinite-Dimensional Statistical Models, Cambridge University Press, 2015
A.Nemirovski: Topics in non-parametric statistics. Ecole d'Eté de Probabilités de Saint-Flour XXVIII – 1998. Lecture Notes in Mathematics, v.1738. Springer, 2000.
A.B.Tsybakov: Introduction to Nonparametric Estimation. Springer, New York, 2009.
L. Wasserman: All of Nonparametric Statistics. Springer, New York, 2006.