Optimisation numerique - 4MMON6

Objectif(s)

Les méthodes d’optimisation sont des outils numériques au coeur de nombreux logiciels pour l’ingénieur, dans l’industrie (aéronautique, robotique,...) ou les services (finance, aide à la décision...). Ce cours est une introduction des fondements mathématiques et algorithmiques de l’optimisation continue - avec un focus particulier sur les applications en machine learning et IA. L’objectif est se familiariser avec ces notions en manipulant les résultats mathématiques de base en cours/TD et les algorithmes et les solveurs, en TP. Toutes les notions introduites sont illustrées sur des exemples issus d’applications pratiques.

Contenu(s)

1. Introduction à l’optimisation, exemples en apprentissage supervisé

2. Résultats théoriques : rôle de la convexité et de la compacité, conditions d’optimalité, théorème de KKT, opérateur proximal

3. Algorithmes pour les problèmes différentiables: méthode de descente, recherche linéaire, méthode de Newton et quasi-Newton. Algorithmes stochastiques.

4. Algorithmes pour les problèmes non-différentiables: méthodes proximales et applications en imagerie; dualité lagrangienne, méthodes de faisceaux, et applications en production électrique.

On manipule des maths niveau prépa/licence, et des notions de méthodes numériques de 1ère année ENSIMAG. Des connaissances solides en Analyse (premier cycle + 1ère année), Analyse numérique et Algèbre linéaire sont donc recommandées. Avoir suivi des cours de recherche opérationnelle et de stats est un plus.