把这种推演用到任意信息源。如果一个信息源往外蹦的随机变量都独立而且服从同一个定义在s={1,2,…,m}上的分布p(x),那么以下结论依次成立。
信息源里蹦出的随机序列几乎可以肯定是典型的!
每个典型序列出现的概率差不多就是p(1)^(np(1))*p(2)^(np(2))*…*p(m)^(np(m))!
典型序列的个数t差不多就是p(1)^(-np(1))*p(2)^(-np(2))*…*p(m)^(-np(m))!
压缩这个信息源蹦出的每个随机变量平均所需要的最少比