Statistique bayésienne

Objectif

Objectif : Le cours présentera la théorie de l'inférence Bayésienne. Des exemples et exercices seront développées pendant le cours. A l'issue de ce cours, les étudiants doivent être capable de : 

• calculer la distribution à-posteriori pour des modèles conjuguées, construire un estimateur Bayésien, construire test d'hypothèses Bayésiens et régions de confiance ;
•  comprendre la différence entre une procédure d'inférence fréquentiste et Bayésienne
•  implémenter sur ordinateur une procédure d'inférence Bayésienne ;
• résoudre des exercices portants sur le notions apprises pendant le cours. Cours conseillés : Computational Statistics (3A), Simulation et Monte Carlo (2A).

Evaluation du cours : L'évaluation sera basée sur 2 homeworks et 1 projet : 

• un premier homework sera donné vers la moitié du cours et les étudiants devront résoudre 2 exercices ;
•  un deuxième homework sera donné à la fin du cours et les étudiants devront résoudre 2 exercices ;
•  le projet sera à rendre la semaine des examens (date precisée ultérieurement). Il s'agit d'un projet appliqué et sera à faire en groups. Les étudiants devront proposer une problématique statistique liée à ce que nous avons vu pendant le cours et la résoudre avec une approche Bayésienne. Le projet peut se baser soit sur données simulées, soit sur données réelles. La note du projet prendra en compte les critères suivants : intérêt de la problématique proposée, développement et difficultés de la méthode Bayésienne choisi, intérêt des données simulées ou réels

Plan

Chapitre 1 : Introduction : les principes Bayésiens, Echangeabilité, Principe de vraisemblence.

Chapitre 2 : Détermination de lois à priori : lois subjectives, lois conjuguées, lois noninformatives, à-priori hierarchiques et analyse Bayésienne empirique.

Chapitre 3 : Inférence Bayésienne : estimation ponctuelle, le modèle Normal, le modèle de regression linéaire, Régions de confiance, Tests d'hypothèses.

Chapitre 4 : Proprietés asymptotiques des approches Bayésiennes.

Chapitre 5 : Choix et comparaison de modèles.

Chapitre 6 : Sparsité et modèles en grande dimension.

Chapitre 7: Introduction à l'inference Bayésienne nonparamétrique (echantillonage multinomial, distribution de Dirichlet, processus de Dirichlet).

Chapitre 8 : Estimation Bayésienne nonparamétrique de la fonction de densité et de la fonction de règression

Chapitre 9 : Proprietés asymptotiques des approches Bayésienne nonparamétriques.

Références

"The Bayesian Choice : from Decision-Theoretic Motivations to Computational Imple-
mentation", C. Robert, Springer-Verlag, New York (2001).

"Statistical Decision Theory and Bayesian Analysis", J. Berger, Springer-Verlag, New
York (1985).

"Bayesian nonparametrics", Hjort et al. eds., Cambridge University Press, (2010).