Principes de l'apprentissage statistique supervisé - WMMFMA28

Objectif(s)

Le « Machine Learning » ou « Apprentissage statistique » est la branche mathématiques au cœur de l'intelligence artificielle (IA).

Il s'agit d'une discipline récente, dont les notions fondatrices remontent aux années 70.

Ce cours ne traite que de l'apprentissage supervisé.

Ce cours comporte deux parties

• Partie 1 - notions théoriques élémentaires de l'apprentissage statistique en créant un lien permettant avec des notions connues par ailleurs dans d'autres disciplines (statistiques, optimisation)

• Partie 2 - outils à la fois théoriques et pratiques qui permettent de résoudre des problèmes d'apprentissage concret.

Contenu(s)

PRINCIPES

• 1 Panorama
  Qu’est-ce que l'apprentissage statistique supervisé ?
  Quelques exemples.
  Catégories d’algorithmes.
  Écueils classiques. Mauvaises données. Mauvais algorithme.
  Importance fondamentale de l’a priori.
  Pourquoi a-t-on besoin d’algorithme de ML.
  Liens avec d’autres champs disciplinaires.

• 2 Principes
  Modèle supervisé.
  Ingrédients. Espace des caractéristiques-observations. Étiquettes. Base d’apprentissage. Prédicteur.
  Génération des données et des étiquettes.
  Mesure de performance :risque.

• 3 Modèle PAC élémentaire
  Risque. Apprentissage par Minimisation du Risque Empirique(MRE).
  Surapprentissage. Régularisation.
  Apprentissage Probablement Approximativement Correct (PAC)
  Apprentissage PAC d’une classe finie.

• 4 Modèle supervisé PAC agnostique
  Prédicteur optimal de Bayes.
  Nouveaux ingrédients.
  Apprentissage PAC agnostique.

• 5 Dimension de Vapnik-Chervonenkis
  Apprentissage PAC d’une classe infinie.
  Coefficient d’éclatement.
  Dimension de Vapnik-Chervonenkis.

• 6 Apprentissage et a priori
  Résultats fondamentaux de l’apprentissage statistique.
  No free lunch.
  Compromis biais-variance et sélection de dictionnaire. Décomposition biais-variance. Estimation de l’erreur stochastique. Sélection de dictionnaire.

• 7 Réduction de dimension
  Malédiction de la dimension. Pas de plus proche voisin en grande dimension.
  Répartition de la masse. L’estimation de paramètre est problématique.
  Motivation de la réduction de dimension.
  Sélection de variables. Filtrage. Conteneur. Méthodes embarquées(embedded).
  Extraction de variables. Techniques d’extraction (apprentissage multiple). Analyse en Composantes Principales (ACP)

ALGORITHMES

• 8 Autres approches : modèles génératifs et plus proches voisins
  Modèles génératifs. QDA. LDA.
  Méthodes des plus proches voisins. Principe. Performance.

• 9 Convexification
  Reformulation de la probabilité d’erreur.
  Substitut convexe du risque.

• 10 Prédicteurs linéaires
  Le perceptron, classifieur demi-espace élémentaire.
  Régression linéaire.
  Régression logistique.

• 11 SVM
  Rappels. Multiplicateurs de Lagrange. Distances au séparateur et marge
  Choix d’un séparateur à marge maximale. Algorithme SVM dur.

• 12 Séparateurs non linéaires et espaces de redescription
  Noyau
  Algorithmes à noyau
  Et les neurones dans tout ça ?

Probabilités appliquées. Cours Ensimag première année.
Principes et méthodes statistiques. Cours Ensimag première année.