théorie de l'information : trois théorèmes de claude shannon

Résumé

La théorie mathématique de la communication se donne pour objectif de formaliser les processus de transmission d'informations dans un canal de communication possiblement soumis à des perturbations. Dans un article publié en 1948 et dont on considère qu'il a donné naissance à cette théorie, le mathématicien américain Claude Shannon propose un modèle mathématique de ce processus qui repose sur la théorie des probabilités. Il introduit le concept fondamental d'entropie d'une variable aléatoire qui représente la quantité d'information qu'en fournit l'observation. L'entropie intervient également dans la définition de la capacité de transmission d'un canal de communication, et Shannon démontre que cette capacité est exactement la quantité d'information que ce canal permet de véhiculer avec un risque d'erreur aussi petit que voulu. Un autre aspect de la théorie mathématique de la communication est l'échantillonnage, c'est-à-dire la mesure, à intervalles réguliers, d'un signal. Un théorème de la théorie des séries de Fourier, souvent attribué à Shannon et Nyquist, établit la possibilité de reproduire le signal sur la base de ces observations ponctuelles, pourvu que la fréquence d'échantillonnage soit assez élevée. En fin de volume, on explore quelques aspects du théorème d'incertitude de Heisenberg pour la théorie de la communication.Le présent volume de la collection Nano est issu d'un cours fait par l'auteur au sein du master « Mathématiques et informatique » de l'université Paris Cité. Il vise à présenter ces résultats fondateurs et fondamentaux d'une façon précise et rigoureuse, et néanmoins accessible dès les premières années d'université. Le livre devrait pouvoir être lu avec une compréhension intuitive de la notion de probabilité, et une partie préliminaire en rappelle d'ailleurs les définitions et résultats de base. Chaque chapitre est accompagné de nombreux exercices, dont les corrections sont données en fin de volume. Au delà des étudiants en faculté ou en école d'ingénieurs, ce livre pourrait attirer les personnes curieuses d'aborder de façon mathématique une question qui se situe à l'interaction de l'ingénierie, de l'informatique et de la technologie, et peut-être même les thanatocrates de tout poil.