No vídeo, entropia, a quantidade média de informações representadas por um símbolo em uma mensagem, é uma função do modelo utilizado para produzir essa mensagem e pode ser reduzida, aumentando a complexidade do modelo, para que melhor reflete a real distribuição dos símbolos de origem da mensagem original. Entropia é uma medida da informação contida em uma mensagem, é o limite inferior de compressão.