디지털데이터의 부호화는 데이터를 구성하는 각각의 정보가 어떠한 출현확률을 가지는가에 의해서 압축비가 달라진다.

엔트로피(entropy)가 높을수록 각각의 정보가 출현할 확률이 높다.

각각의 정보가 출현할 확률이 높을수록 효율적인 부호화가 가능하다.

각각의 정보가 출현할 확률이 모두 같다면 엔트로피(entropy)가 높아져서 압축이 불가능하다.