Théorie de l'information - 3MMTINF

• Incertitude et information. Entropies. L’entropie de Shannon et ses propriétés. Entropie de lois composées et transfert d'information.

• Structure d'une chaîne de communication. Sources d'information et compression. Canaux, capacité et codage de canal.

• Codage des sources discrètes. Equipartition asymptotique, notion de suite typique. Codes optimaux théoriques. Construction effective de codes optimaux.

• Transmettre et stocker l'information. Canal discret (canal binaire symétrique). Codage de canal et second théorème de Shannon.

• Codes détecteurs et correcteurs d’erreurs. Répétition et second théorème de Shannon. Codes détecteurs d’erreur. Codes correcteurs d’erreur. Codes en blocs linéaires. Distance de Hamming et distance Euclidienne. Décodage au sens du maximum de vraisemblance.

• Quelques applications : Stéganographie, tatouage, fuite d'information et sécurité.

Probabilités discrètes.

CONTRÔLE CONTINU :
Type d'évaluation (ex : TP, assiduité, participation) :

SESSION NORMALE :
Type d'examen (écrit, oral, examen sur machine) : examen écrit
Salle spécifique :
Durée : 2 h 00
Documents autorisés (ex : aucun, résumé feuille A4 manuscrite, dictionnaires, tous documents) : POLYCOPIE, NOTES DE COURS AUTORISES
Documents interdits (ex : livres, tous documents) : TOUT CE QUI N'EST PAS AUTORISE
Matériel (ex : calculatrices):

• matériel autorisé, préciser : CALCULATRICE AUTORISÉE
• matériel interdit, préciser : TOUT LE RESTE
  Commentaires :

SESSION DE RATTRAPAGE :
Type d'examen (écrit, oral, examen sur machine) : examen écrit
Salle spécifique :
Durée : 2 h 00
Documents autorisés (ex : aucun, résumé feuille A4 manuscrite, dictionnaires, tous documents) : POLYCOPIE, NOTES DE COURS AUTORISES
Documents interdits (ex : livres, tous documents) : TOUT CE QUI N'EST PAS AUTORISE
Matériel (ex : calculatrices):

• matériel autorisé, préciser : CALCULATRICE AUTORISÉE
• matériel interdit, préciser : TOUT LE RESTE
  Commentaires :

N1 = E1
N2= E2

Le cours est programmé dans ces filières :

• Cursus ingénieur - Tronc Commun - Semestre 5

Code de l'enseignement : 3MMTINF
Langue(s) d'enseignement :

Le cours est rattaché aux structures d'enseignement suivantes :

• Equipe Télécomunications-Réseaux et théorie de l'information
• Equipe Algorithmique-Mathématiques discrètes

Vous pouvez retrouver ce cours dans la liste de tous les cours.

C. Shannon, W. Weaver, La théorie mathématique de la communication, Cassini, avril 2018.

Théorie de l'information et du codage. O. Rioul. Hermès, 2007.

Elements of Information Theory. T.M. Cover, Joy A. Thomas. John Wiley & Sons Inc, 2006.

David J.C. MacKay “Information Theory, Inference, and Learning Algorithm”, Cambridge Univ. Press, 2003. http://www.cs.toronto.edu/~mackay/itila/book.html

R.G. Gallager, « Information Theory and reliable communication », Wiley, 1968