在視頻中，熵，由一條消息中的符號表示的平均資訊量是模型用於生成該消息的功能，並通過增加模型的複雜性，以便更好地反映實際分佈的源的原始郵件中的符號，可減少。熵是一條消息中包含的資訊的一項措施，是壓縮的下限。