Entropi, ortalama bir mesaj simgesiyle gösterilen bilgi miktarını, video, mesaj üretmek için kullanılan modeli fonksiyonudur ve böylece o daha iyi yansıtan özgün iletinin kaynak sembolleri gerçek dağıtım modeli karmaşıklığını artırarak azaltılabilir. Entropi bir iletide yer alan bilgiler bir ölçüsüdür, sıkıştırma alt sınırı.