High-Dimensional Statistical Learning

Rémi Gribonval

Ce module présente les fondations mathématiques de l'apprentissage statistique moderne en décrivant les bases théoriques et les outils conceptuels nécessaires pour analyser et justifier les algorithmes. L'accent est mis sur les problématiques liée à la grande dimension et aux grands volumes de données, et aux techniques de réduction de dimension qui permettent de les aborder.

Mots-clés

PAC (probably approximately correct), VC-dimension (Vapnik and Chervonenkis), complexité de Rademacher, SVM (support vector machines), regression, méthode à noyaux, deep learning

Prérequis

Algèbre linéaire, probabilités, optimisation, analyse convexe

Contenu

• Le cadre PAC (probably approximately correct) pour l'apprentissage statistique
• Mesurer la complexité d'un problème d'apprentissage
• Notion de stabilité algorithmique
• Réduction de dimension
• Parcimonie et optimisation convexe pour l'apprentissage

Compétences acquises

• Comprendre les liens entre complexité et sur-apprentissage
• Connaître les outils de mesure de complexité en apprentissage
• Comprendre les enjeux statistiques et algorithmiques liés à la grande dimension en apprentissage
• Comprendre les outils de réduction de dimension pour l'apprentissage