Ίσως το σημαντικότερο μειονέκτημα σε κάθε μία από τις τεχνικές κωδικοποίησης Huffman είναι κακή απόδοση τους κατά την επεξεργασία κειμένων, όπου ένα σύμβολο έχει πιθανότητα να συμβεί που πλησιάζει την ενότητα.

Αν και η εντροπία που συνδέονται με τα σύμβολα αυτά είναι εξαιρετικά χαμηλή, κάθε σύμβολο πρέπει ακόμα να κωδικοποιηθούν ως μια διακριτή τιμή. Αριθμητική κωδικοποίηση αφαιρεί αυτόν τον περιορισμό, αντιπροσωπεύοντας μηνύματα ως διαστήματα των πραγματικών αριθμών μεταξύ 0 και 1. Αρχικά, η περιοχή τιμών για ένα κείμενο κωδικοποίησης είναι ολόκληρο το χρονικό διάστημα (0, 1). Ως κωδικοποίηση έσοδα, αυτή η σειρά στενεύει ενώ επεκτείνει τον αριθμό των bit που απαιτείται για να την εκπροσωπήσει. Συχνά εμφανιζόμενες χαρακτήρες μειωθούν οι λιγότερο από χαρακτήρες που συμβαίνουν σπάνια, και κατά συνέπεια λιγότερες bits αυξάνω το μήκος του ένα κωδικοποιημένο μήνυμα.