في الفيديو، الانتروبيا، متوسط كمية المعلومات التي تم تمثيلها بواسطة رمز في رسالة، هو دالة من النموذج المستخدم لإنتاج تلك الرسالة، ويمكن الحد من زيادة تعقيد النموذج بحيث أنه يعكس بشكل أفضل التوزيع الفعلي لرموز المصدر في الرسالة الأصلية. الانتروبيا مقياس للمعلومات الواردة في رسالة، وهو الحد الأدنى للضغط.