В видео энтропия, среднее количество информации, обозначается символом в сообщении, является функцией модели, используемых для производства этого сообщения и могут быть уменьшены путем увеличения сложности модели таким образом, чтобы он лучше отражал фактическое распределение источник символов в исходном сообщении. Энтропии определенную информацию, содержащуюся в сообщении, это нижняя граница для сжатия.