Mungkin kekurangan utama untuk masing-masing teknik pengkodean Huffman adalah kinerja mereka miskin saat memproses teks di mana satu simbol memiliki probabilitas terjadinya mendekati kesatuan.

Meskipun entropi terkait dengan simbol-simbol tersebut sangat rendah, setiap simbol harus masih disandikan sebagai nilai diskret. Aritmetika pengkodean menghapus pembatasan ini dengan mewakili pesan sebagai interval bilangan real antara 0 dan 1. Pada awalnya, kisaran nilai-nilai untuk pengkodean teks adalah seluruh selang (0, 1). Sebagai hasil encoding, menyempit rentang ini sementara jumlah bit yang diperlukan untuk mewakilinya mengembang. Sering terjadi karakter mengurangi rentang kurang dari karakter terjadi jarang, dan dengan demikian lebih sedikit potongan menambah panjang pesan yang disandikan.