Méthodes d'estimations et introduction à la théorie moderne du codage
Ref: 2EL5050
Description
Ce cours présente deux problèmes clés de la théorie de la décision : l’estimation pure et la détection. Les notions suivantes seront présentées et mises en œuvre numériquement : formalisation de ces problèmes, influence de la fonction coût, du point de vue (bayésien ou non), de l’information à priori. Les problèmes de l’estimation de la densité spectrale de puissance et de la prédiction d’une série temporelle ergodique seront étudiés en détail. Quatre théorèmes fondamentaux de codage pour des systèmes discrets sans mémoire seront énoncés et démontrés.
Période(s) du cours
SG6
Prérequis
- Cours de Probabilités de 1A (CIP, 1SL1000)
- Cours de Traitement du Signal de 1A (1CC4000)
Il est conseillé d'avoir également suivi
- Cours de Statistique et apprentissage de 1A (1CC5000)
- Cours Système d'information et Programmation de 1A (1CC1000).
Syllabus
- Notions d’estimation (6h de cours)
1.1 Introduction (objectifs de l’estimation, modélisation, point de vue bayésien / non bayésien, exemples)
1.2 Éléments d’estimations bayésiennes (rappel sur les espaces de Hilbert, théorème de projection orthogonale, estimation en moyenne quadratique avec contrainte linéaire)
1.3 Éléments d’estimation non bayésienne (Inégalité de Cramer-Rao, Estimateur du maximum de vraisemblance)
- Estimation d’un signal dans un bruit additif (3h de TD)
- Analyse spectrale non paramétrique (3h de TD)
- Détection (3h de cours)
4.1 Test des hypothèses (présentation du problème, théorie bayésienne, stratégie de Neyman-Pearson, courbes COR)
4.2 Application à la détection d’un signal dans un bruit (décomposition de Karhunen-Loève, détection d’un signal déterministe dans un bruit gaussien) - Détection (3h de TD)
- Filtrage linéaire statistique (1h30 de cours)
6.1 Introduction et préliminaires
6.2 Filtrage de Wiener - Filtrage de Wiener avec contrainte linéaire (3h de TD)
- Prédiction à un pas et passé infini (3h de
cours)
8.1 Cas d’un signal dont la densité spectrale de puissance est bornée et admet une factorisation forte
8.2 Cas général, décomposition de Wold - Interpolation d’un signal stationnaire (3h de TD)
- Prédiction à un pas et passé fini (1h30 de cours)
- Primitives de la théorie de
l’information (3h de cours)
11.1 Introduction (source d’information discrète, canal discret, message)
11.2 Quatre problèmes clés de codage (codage canal, approximation canal, codage source distribuée, extraction d’aléa)
11.3 Théorèmes fondamentaux (codage aléatoire (random coding), compartimentage aléatoire (random binning)) - Exercices sur les quatre problèmes clés de
codage (2h TD)
Composition du cours
18h de cours magistraux + 17h de travaux dirigés + contrôle continu (devoirs à la maison et en classe)
Ressources
Une partie des travaux dirigés se fera avec un ordinateur (utilisation de Matlab ou de Python)
Résultats de l'apprentissage couverts par le cours
À l’issue de ce cours, les élèves devront être en mesure de traiter une large gamme de problèmes concrets d’estimations et de détection, rencontrés dans un contexte scientifique ou industriel. Partant d’un tel problème, ils seront capables :
- de le modéliser en introduisant une fonction coût convenable ;
- de proposer une solution adéquate (i.e., adaptée à l’information a priori disponible) ;
- de prouver l’optimalité de la solution sous certaines conditions qu’ils sauront expliciter ;
- de mettre en œuvre la méthode sur des données et
- de critiquer les résultats obtenus.
De plus, les élèves devront avoir acquis des connaissances de base de la théorie moderne du codage de systèmes discrets sans mémoires (canal, source avec information adjacente au décodeur).
Support de cours, bibliographie
M. Barret, Traitement Statistique du Signal, ELLIPSES,
2009.
M Bloch et J. Barros, Physical-Layer Security, Cambridge University Press, 2011.