Ensimag Rubrique Formation 2022

Théorie de l'information - 3MMTINF

  • Volumes horaires

    • CM 16.5
    • Projet -
    • TD 16.5
    • Stage -
    • TP -
    • DS -

    Crédits ECTS

    Crédits ECTS 3.0

Objectif(s)

Fournir les notions théoriques de base pour la mesure quantitative de l’information (qu'est-ce qu'un bit d'information ?), sa représentation, son stockage, sa transmission, sa protection et sa dissimulation. Application à la compression sans perte, au codage correcteur, à la sécurité des transmissions et des contenus (stéganographie).

Responsable(s)

Jean-Marc BROSSIER

Contenu(s)

  • Incertitude et information. Entropies. L’entropie de Shannon et ses propriétés. Entropie de lois composées et transfert d'information.
  • Structure d'une chaîne de communication. Sources d'information et compression. Canaux, capacité et codage de canal.
  • Codage des sources discrètes. Equipartition asymptotique, notion de suite typique. Codes optimaux théoriques. Construction effective de codes optimaux.
  • Transmettre et stocker l'information. Canal discret (canal binaire symétrique). Codage de canal et second théorème de Shannon.
  • Codes détecteurs et correcteurs d’erreurs. Répétition et second théorème de Shannon. Codes détecteurs d’erreur. Codes correcteurs d’erreur. Codes en blocs linéaires. Distance de Hamming et distance Euclidienne. Décodage au sens du maximum de vraisemblance.
  • Quelques applications : Stéganographie, tatouage, fuite d'information et sécurité.

Prérequis

Probabilités discrètes.

Contrôle des connaissances

SESSION NORMALE :

Type d'examen : examen écrit
Salle spécifique : non
Durée : 2 h 00

Documents autorisés : POLYCOPIE ET NOTES DE COURS AUTORISES
Documents interdits : TOUT CE QUI N'EST PAS AUTORISE
Matériel autorisé : AUCUN

SESSION DE RATTRAPAGE :

Type d'examen : examen écrit
Salle spécifique : non
Durée : 2 h 00
Documents autorisés : POLYCOPIE ET NOTES DE COURS AUTORISES
Documents interdits : TOUT CE QUI N'EST PAS AUTORISE
Matériel autorisé : AUCUN

N1 = E1
N2= E2

Calendrier

Le cours est programmé dans ces filières :

  • Cursus ingénieur - Tronc Commun - Semestre 5
cf. l'emploi du temps 2023/2024

Informations complémentaires

Code de l'enseignement : 3MMTINF
Langue(s) d'enseignement : FR

Le cours est rattaché aux structures d'enseignement suivantes :

Vous pouvez retrouver ce cours dans la liste de tous les cours.

Bibliographie

C. Shannon, W. Weaver, La théorie mathématique de la communication, Cassini, avril 2018.

Théorie de l'information et du codage. O. Rioul. Hermès, 2007.

Elements of Information Theory. T.M. Cover, Joy A. Thomas. John Wiley & Sons Inc, 2006.

David J.C. MacKay “Information Theory, Inference, and Learning Algorithm”, Cambridge Univ. Press, 2003. http://www.cs.toronto.edu/~mackay/itila/book.html

R.G. Gallager, « Information Theory and reliable communication », Wiley, 1968