In de video, entropie, het gemiddelde bedrag van informatie die door een symbool in een bericht, is een functie van het model gebruikt om te produceren dat bericht en kan worden verminderd door het verhogen van de complexiteit van het model, zodat het beter de werkelijke verdeling van bron symbolen in het oorspronkelijke bericht weerspiegelt. Entropy is een maatregel van de informatie in een bericht, het is de ondergrens voor compressie.