Apprentissage en ligne et agrégation


Objectif

Objectifs:

– comprendre les différents modèles et contextes de prédiction en ligne;

– comprendre et savoir implémenter l’algorithme de gradient en ligne; comprendre le fonctionnement de l’agrégation à poids exponentiels.

– être capable de comprendre un article de recherche sur la problématique de l'apprentissage en ligne.

 

Descriptif du cours : Ce cours constitue une introduction à l'apprentissage en ligne. Il s’agit de considérer des méthodes d'apprentissage quand les données sont révélées au fur et à mesure plutôt que sous la forme d'un échantillon donné une fois pour toutes. Après une rapide introduction aux méthodes incontournables (halving, online gradient), on s'intéressera aux méthodes d'agrégation. L'idée de base est, étant donné plusieurs prédicteurs, de les faire voter en leur attribuant des poids spécifiques plutôt que d'en choisir un seul. Ces méthodes permettront des résultats optimaux dans des conditions très générales. Dans un second temps, on reviendra au cadre d'apprentissage "batch" ou "off-line" plus classique: on verra que les méthodes d'agrégation proposées précedemment peuvent également s'utiliser dans ce cas.

Prérequis : les concepts de base en algèbre linéaire et en analyse convexe, une connaissance raisonnable de la théorie des probabilités.

Note finale : examen écrit.

Plan

Références