Université du Québec en Outaouais Département d'informatique et d'ingénierie
Sigle : INF6023  Gr. 01
Titre : Théorie de l'information
Session : Hiver 2007  Horaire et local
Professeur : Charbonneau, Alain
1. Description du cours paraissant à l'annuaire :

Objectifs

Permettre à l'étudiant de maîtriser les concepts et les techniques de codage de l'information et d'évaluer la qualité des informations. Lui permettre de définir les principes de détection des erreurs partant d'approches théoriques afin de mieux évaluer la performance des communications et les degrés de tolérance. Lui permettre de développer des applications basées sur les techniques de la théorie de l'information.

Contenu

Mesure de l'information. Le langage et sa signification, canaux de communication et problèmes de parasites, entropie, information mutuelle. Interprétations et propriétés. Notions sur le codage de sources discrètes. Théorèmes de Shannon et codes de Huffman. Voies discrètes et capacités d'une voie de transmission. Bornes limites sur les probabilités d'erreurs, théories de l'échantillon, introduction à la théorie du signal, les bruits du signal, domaines temporels et propriétés de signaux, applications, les systèmes de communication.
2. Objectifs spécifiques du cours :
Ce cours vise à familiariser l'étudiant avec les notions fondamentales de la théorie du codage et de l'information. À la fin de ce cours, l'étudiant saura maîtriser les concepts et les outils lui permettant d'analyser des systèmes de communication. En particulier, l'étudiant connaîtra :
  1. plusieurs techniques de codages
  2. les théorèmes fondamentaux de la théorie de l'information
  3. des techniques de construction de codes auto-corrigeant.
3. Stratégies pédagogiques :
La formule pédagogique utilisée dans ce cours comprend les éléments suivants :
  1. Cours magistraux (une période de 3 heures par semaine).
  2. Lectures personnelles (dans le volume obligatoire).
  3. Problèmes à solutionner se rattachant au cours (exercices du volume obligatoire).
  4. Disponibilités (2 heures par semaine, à mon bureau).
  5. Un travail pratique.
  6. Séminaire.
4. Heures de disponibilité ou modalités pour rendez-vous :
 
5. Plan détaillé du cours sur NaN semaines :
Semaine Thèmes Dates
1    Chapitre 1 : sections 1.1 à 1.4
  • Présentation du schéma général des systèmes de communication
  • Modélisation des sources et des systèmes de codage
  • Codes uniquement décodables
  • Codes instantanément décodables
 09 jan. 2007 
2    Chapitre 1 : sections 1.5 à 1.7. Chapitre 2 : sections 2.1 à 2.4
  • Inégalités de Kraft
  • Inégalités de McMillan
  • Codes optimaux
  • Codes binaires de Huffman
 16 jan. 2007 
3    Chapitre 2 : sections 2.5 à 2.6. Chapitre 3 : sections 3.1, 3.2
  • Codes de Huffman (suite)
  • Information
  • Entropie
 23 jan. 2007 
4    Chapitre 3 : sections 3.3 à 3.7
  • Entropie (suite)
  • Codes de Shannon-Fano
  • Premier théorème de Shannon
 30 jan. 2007 
5    Chapitre 4 : sections 4.1 à 4.4
  • Canaux de transmission
  • Canal binaire symétrique
  • Système d'entropies
 06 fév. 2007 
6    Chapitre 4 : sections 4.5 à 4.8
  • Généralisation du théorème de Shannon aux canaux de transmission
  • Information mutuelle
  • Capacité d'un canal
 13 fév. 2007 
7    Examen partiel I (3h.). 20 fév. 2007 
8    Semaine d'études 27 fév. 2007 
9    Chapitre 5 : sections 5.1 à 5.3
  • Description du TP
  • Règles de décision
  • Distance de Hamming
 06 mars 2007 
10    Chapitre 5 : sections 5.4 à 5.6
  • Théorème fondamental de la théorie de l'information
  • Théorème de la borne de Fano
  • Complément au théorème de Shannon
  • Forme générale du théorème de Shannon
 13 mars 2007 
11    Chapitre 6 : sections 6.1 à 6.3
  • Codes auto-corrigeant
  • Distance minimum d'un code
 20 mars 2007 
12    Chapitre 6 : sections 6.4 à 6.6
  • Théorème de la borne de Hamming
  • Théorème de la borne de Gilbert-Varshamov
  • Codes basés sur les matrices de Hadamard
 27 mars 2007 
13    Chapitre 7 : sections 7.1 à 7.3
  • Codes linéaires
 03 avr. 2007 
14    Chapitre 7 : sections 7.4 à 7.7
  • Codes de Hamming
  • Codes de Golay
  • Concept de syndrome et technique de décodage.
 10 avr. 2007 
15    Examen partiel II (3h.). 17 avr. 2007 
6. Évaluation du cours :
  • Examen partiel I : 20 février 2007(40% de la note finale)
  • Examen partiel II : 17 avril 2007(40% de la note finale)
  • Remise du TP : 17 avril 2007(20% de la note finale)

La cote finale de votre évaluation est donnée par la notation littérale de l'UQO.

7. Politiques départementales et institutionnelles :
8. Principales références :
Manuel obligatoire :
  • Jones, Gareth A., Jones, Josephine Mary, Information and Coding Theory, Springer Undergraduate mathematics series, 2000.

Livres de référence recommandés :

  1. Roman, Steven, Introduction to coding and information theory, Springer, Undergraduate texts in mathematics, 1997.
  2. Roman, Steven, Coding and information theory, Graduate texts in mathematics, Springer-Verlag , 1992, (QA268R64).
  3. Cover, Thomas M., Thomas, Joy A., Elements of information theory, Wiley series in telecommunications, 1991, (Q369C68).
  4. Hamming, Richard Wesley, Coding and information theory, Prentice-Hall, 1980, (QA268H34).1980.
  5. Usher, M. J., Information theory for information technologists, Macmillan computer science series, 1984, (Q360U84 1984).
  6. Ash, Robert, Information theory, Interscience tracts in pure and applied mathematics, 1965.
  7. Shannon, Claude E., Théorie mathématique de la communication, Retz-Centre d'Études et de Promotion de la Lecture, 1975.

9. Page Web du cours :