Dans la vidéo, entropie, le montant moyen de l'information représentée par un symbole dans un message, est une fonction du modèle utilisé pour produire ce message et peut être réduite en augmentant la complexité du modèle pour qu'il reflète mieux la distribution réelle des symboles de source dans le message d'origine. Entropie est une mesure de l'information contenue dans un message, c'est la limite inférieure pour la compression.