Ce podcast explore le concept fascinant de la bibliothèque universelle, un lieu théorique qui contiendrait l’intégralité de tous les livres possibles et imaginables. À travers une discussion mêlant littérature, informatique et théorie de l’information, l’équipe reçoit un invité pour analyser les implications mathématiques et philosophiques de cette idée vertigineuse.
Ce qu’il faut retenir
- La bibliothèque universelle contient tous les agencements possibles de lettres, ce qui engendre un nombre infini de variations de n’importe quel texte existant.
- D’un point de vue purement informatique, cette accumulation totale de données sans structure ni ordre équivaut à une quantité d’information nulle.
- L’intelligence artificielle et les modèles de langage partagent des dynamiques similaires de compression et de prédiction textuelle, oscillant constamment entre ordre et entropie.
Le concept de la bibliothèque universelle
L’idée de départ s’inspire de récits littéraires imaginant une bibliothèque géante où s’entassent des ouvrages aux combinaisons infinies.
Personne n’a jamais pu en voir les limites. Les occupants de cet univers s’interrogent sur sa nature exacte et son éventuelle cyclicité.
Ordres de grandeur et combinatoire
Pour appréhender la taille d’un tel endroit, il faut se pencher sur les unités de mesure informatiques et textuelles.
Chaque caractère correspond approximativement à un octet.
Le nombre de variantes d’une œuvre célèbre, modifiée à un ou plusieurs caractères près, dépasse l’entendement et se compte en milliards de milliards.
Théorie de l’information et entropie
La théorie de l’information s’articule autour de la résolution d’une incertitude et de la notion de signal par rapport au bruit.
Un ensemble totalement aléatoire ne transmet aucune information utile.
L’information ne réside pas dans le livre lui-même, mais dans la lecture et le sens que le lecteur y apporte.
Compression et intelligence artificielle
Les algorithmes de compression permettent de réduire la taille des fichiers redondants, mais se heurtent à une limite incompressible face au pur hasard.
Les modèles de langage récents fonctionnent sur un principe proche de la prédiction textuelle et de la complétion.
En ajustant les paramètres de température, la machine génère des réponses plus ou moins créatives, tout en naviguant entre cohérence et hallucinations.
