Ensimag Rubrique Formation 2022

Principes de l'apprentissage statistique supervisé - WMMFMA28

  • Volumes horaires

    • CM 18.0
    • Projet -
    • TD 6.0
    • Stage -
    • TP -
    • DS -

    Crédits ECTS

    Crédits ECTS 3.0

Objectif(s)

Le « Machine Learning » ou « Apprentissage statistique » est la branche mathématiques au cœur de l'intelligence artificielle (IA).

Il s'agit d'une discipline récente, dont les notions fondatrices remontent aux années 70.

Ce cours ne traite que de l'apprentissage supervisé.

Ce cours comporte deux parties

  • Partie 1 - notions théoriques élémentaires de l'apprentissage statistique en créant un lien permettant avec des notions connues par ailleurs dans d'autres disciplines (statistiques, optimisation)
  • Partie 2 - outils à la fois théoriques et pratiques qui permettent de résoudre des problèmes d'apprentissage concret.

Responsable(s)

Jean-Marc BROSSIER

Contenu(s)

PRINCIPES

  • 1 Panorama
    Qu’est-ce que l'apprentissage statistique supervisé ?
    Quelques exemples.
    Catégories d’algorithmes.
    Écueils classiques. Mauvaises données. Mauvais algorithme.
    Importance fondamentale de l’a priori.
    Pourquoi a-t-on besoin d’algorithme de ML.
    Liens avec d’autres champs disciplinaires.
  • 2 Principes
    Modèle supervisé.
    Ingrédients. Espace des caractéristiques-observations. Étiquettes. Base d’apprentissage. Prédicteur.
    Génération des données et des étiquettes.
    Mesure de performance :risque.
  • 3 Modèle PAC élémentaire
    Risque. Apprentissage par Minimisation du Risque Empirique(MRE).
    Surapprentissage. Régularisation.
    Apprentissage Probablement Approximativement Correct (PAC)
    Apprentissage PAC d’une classe finie.
  • 4 Modèle supervisé PAC agnostique
    Prédicteur optimal de Bayes.
    Nouveaux ingrédients.
    Apprentissage PAC agnostique.
  • 5 Dimension de Vapnik-Chervonenkis
    Apprentissage PAC d’une classe infinie.
    Coefficient d’éclatement.
    Dimension de Vapnik-Chervonenkis.
  • 6 Apprentissage et a priori
    Résultats fondamentaux de l’apprentissage statistique.
    No free lunch.
    Compromis biais-variance et sélection de dictionnaire. Décomposition biais-variance. Estimation de l’erreur stochastique. Sélection de dictionnaire.
  • 7 Réduction de dimension
    Malédiction de la dimension. Pas de plus proche voisin en grande dimension.
    Répartition de la masse. L’estimation de paramètre est problématique.
    Motivation de la réduction de dimension.
    Sélection de variables. Filtrage. Conteneur. Méthodes embarquées(embedded).
    Extraction de variables. Techniques d’extraction (apprentissage multiple). Analyse en Composantes Principales (ACP)

ALGORITHMES

  • 8 Autres approches : modèles génératifs et plus proches voisins
    Modèles génératifs. QDA. LDA.
    Méthodes des plus proches voisins. Principe. Performance.
  • 9 Convexification
    Reformulation de la probabilité d’erreur.
    Substitut convexe du risque.
  • 10 Prédicteurs linéaires
    Le perceptron, classifieur demi-espace élémentaire.
    Régression linéaire.
    Régression logistique.
  • 11 SVM
    Rappels. Multiplicateurs de Lagrange. Distances au séparateur et marge
    Choix d’un séparateur à marge maximale. Algorithme SVM dur.
  • 12 Séparateurs non linéaires et espaces de redescription
    Noyau
    Algorithmes à noyau
    Et les neurones dans tout ça ?

Prérequis

Probabilités appliquées. Cours Ensimag première année.
Principes et méthodes statistiques. Cours Ensimag première année.

Contrôle des connaissances

SESSION NORMALE :
Type d'examen : examen écrit
Durée : 2 h 00
Documents autorisés : notes de cours manuscrites
Documents interdits : tout le reste
Matériel autorisé : aucun

SESSION DE RATTRAPAGE :
Type d'examen : examen écrit
Durée : 2 h 00
Documents autorisés : notes de cours manuscrites
Documents interdits : tout le reste
Matériel autorisé : aucun

N1 = E1
N2= E2

Calendrier

Le cours est programmé dans ces filières :

  • Cursus ingénieur - Filière IF - Semestre 9
cf. l'emploi du temps 2023/2024

Informations complémentaires

Code de l'enseignement : WMMFMA28
Langue(s) d'enseignement : FR

Vous pouvez retrouver ce cours dans la liste de tous les cours.

Bibliographie

Voir polycopié de cours.