Le vocable information a été employé pour la première fois comme nouvelle unité par Ralph Hartley des Bell Labs en 1928 pour désigner la partie utile d’un message (en écartant le bruit causé par les parasites par exemple). Pour lui, l’information mesure ce que nous apprenons (si nous avons déjà reçu le message, nous n’apprenons rien).
En 1948, Claude Shannon prolongea cette idée et publia sa théorie de l’information (ou pour être précis sa théorie de la communication). Pour lui, la quantité d’information contenue dans un message équivaut au nombre de bits pour l’encoder.
Si le message indique soit blanc, soit noir, un seul bit est nécessaire. La mesure de l’information selon Shannon est indépendante de sa signification. Un listing peut contenir beaucoup d’informations qui ont peu de signification, un aphorisme peut contenir peu d’information et avoir une signification profonde. La signification existe dans l’esprit de l’émetteur et du récepteur, pas dans l’information qui circule.
Von Neumann n’appréciait pas l’idée de séparer information et signification. Il remarqua que la formule de Shannon pour décrire l’information était identique à celle pour d’écrire l’entropie (au signe moins près). Il aurait donc mieux valu parler d’entropie (ou de néguentropie) mais Shannon continua à parler d’information parce que les ingénieurs employaient déjà ce mot.
Mais qu’est-ce que l’entropie ? Elle indique le niveau de désordre dans un système (alors que la néguentropie indique son niveau d’ordre). Le second principe de la thermodynamique stipule que l’entropie d’un système fermé augmente toujours jusqu’à atteindre son maximal.
Exemple le plus simple. On place deux gaz différents dans deux réservoirs. Les particules sont relativement ordonnées, les unes dans un réservoir, les autres dans l’autre. Si on connecte les deux réservoirs, les particules de l’un passent dans l’autre jusqu’à ce que nous obtenions un mélange parfait, c’est-à-dire un désordre maximal.
Mais qu’est-ce que le désordre maximal ? Les physiciens ont découvert que c’est l’état où le système enferme le plus d’information possible. Exemple. Dans un livre, les lettres sont relativement ordonnées, formant des mots qui se répètent de temps à autre. Ce texte peut-être compressé : on remplace chaque mot qui se répète par un code plus court. En revanche, si on mélange les lettres au hasard, on augmente le désordre, perd la signification mais la quantité d’information nécessaire à décrire le système augmente (on ne peut plus compresser le texte, on ne peut pas proposer un codage plus court que le texte lui-même).
L’entropie d’un système fermé ne peut jamais décroitre parce que, une fois que deux gaz se sont mélangés par exemple, la structure initiale de l’information a été détruite (le code a disparu). On a besoin de plus de bits pour décrire le système parce que la forme compacte, mieux structurée, s’est volatilisée. Le système a en quelque sorte perdu la mémoire de son état antérieur. C’est entre autre pour cette raison qu’un œuf une fois cassé ne se reconstitue jamais. C’est pour cela aussi qu’on parle de flèche du temps.
On voit ainsi comment la théorie de l’information et la thermodynamique nouent des liens qui ne sont pas uniquement d’ordre métaphorique (depuis 1948 les scientifiques et les philosophes ne cessent de discuter de ce lien). La formulation identique de l’entropie dans les deux domaines révèle une similitude d’ordre physique mais aussi psychologique.
Une information que je connais déjà ou que je ne comprends pas ne constitue pas pour moins une réserve de néguentropie alors qu’elle peut l’être pour celui qui ignore l’information et la comprend. Ainsi il reste toujours difficile de séparer l’information de sa signification. Le codage est du domaine de la physique, l’information le dépasse, notamment par son aspect qualitatif.
Quand je suppose que l’information peut comme l’eau se trouver dans plusieurs états, je joue donc un jeu dangereux d’un point de vue scientifique. En toute rigueur, je ne devrais donc parler que de l’information qui se code.
Je persiste néanmoins. Pour observer les différents états de l’eau, on fait varier la température et la pression. Qu’est-ce que cela peut signifier pour l’information ?
Lorsque la température est nulle, zéro absolu, l’entropie est nulle. Le système est parfaitement ordonné. La quantité d’information pour le décrire est minimale. Lorsque la température s’élève, le système s’agite, il faut de plus en plus d’information pour le décrire. L’entropie augmente.
1/T = Delta S/Delta U
Cette formule lie la température T à la variation de l’entropie S et à la variation du nombre de particules dans le système U. Elle signifie que plus il y a de particules, plus la température est grande et que plus la température s’élève, plus l’entropie est grande.
Si on remplace U par la quantité d’information selon Shannon, on définit une forme de température pour l’information. Elle s’élève quand le système reçoit plus d’information. Pour un texte gravé dans le marbre, la quantité d’information ne varie pas. Rien ne bouge. La température est minimale. Elle s’élève quand il y a interaction. Lorsque nous parlons ou nous branchons sur les flux.
Delta S/ Delta V = p/T
Cette formule lie l’entropie, le volume du système, la pression et la température. La pression serait l’équivalent de la vitesse à laquelle on injecte l’information dans le système.
J’avoue que je n’ai plus l’esprit assez matheux pour tenter de tracer un diagramme des phases pour l’information afin de repérer les différents états possibles. J’ai effectué quelques recherches sans rien trouver. Si un physicien passe par là, je l’appelle au secours. Dans mon prochain livre, la métaphore me suffit, appuyée sur cette vague justification. J’ai l’habitude de me fier à mon intuition.
PS : Ce texte sera inséré en hypernote dans mon prochain livre.