וידאו, אנטרופיה, כמות המידע המיוצג על-ידי סמל בהודעה, הממוצע הוא פונקציה של המודל המשמש להפקת הודעה זו, יכול שתחול על-ידי הגדלת המורכבות של המודל כך שישקף בצורה טובה יותר את התפלגות בפועל של מקור סימנים בהודעה המקורית. אנטרופיה היא מדד של המידע הכלול בהודעה, זהו הגבול התחתון של הדחיסה.